[논문 리뷰] Adjusting for Autocorrelated Errors in Neural Networks for Time Series

Fan-Keng Sun, Christopher I. Lang외 1명|arXiv (Cornell University)|2021. 01. 28.

Time Series Analysis and Forecasting참고 문헌 51인용 수 17

한 줄 요약

이 논문은 신경망의 오차 자기상관계수를 경사하강법을 통해 모델 파라미터와 함께 동시 학습함으로써 시계열 성능을 향상시키는 방법을 제안한다. 다양한 데이터셋과 아키텍처에서의 실험을 통해 예측, 회귀, 분류, 이상 탐지 작업에서 일관된 성능 향상이 나타났으며, 조정이 필요한 시점을 안내하기 위해 실증적인 임계값을 제공한다.

ABSTRACT

An increasing body of research focuses on using neural networks to model time series. A common assumption in training neural networks via maximum likelihood estimation on time series is that the errors across time steps are uncorrelated. However, errors are actually autocorrelated in many cases due to the temporality of the data, which makes such maximum likelihood estimations inaccurate. In this paper, in order to adjust for autocorrelated errors, we propose to learn the autocorrelation coefficient jointly with the model parameters. In our experiments, we verify the effectiveness of our approach on time series forecasting. Results across a wide range of real-world datasets with various state-of-the-art models show that our method enhances performance in almost all cases. Based on these results, we suggest empirical critical values to determine the severity of autocorrelated errors. We also analyze several aspects of our method to demonstrate its advantages. Finally, other time series tasks are also considered to validate that our method is not restricted to only forecasting.

연구 동기 및 목표

• 실제로 생기는 변수 누락, 측정 노이즈, 모델 부정확성으로 인해 오차가 상관이 있음에도 불구하고 신경망 학습에서 오차가 상관이 없다는 일반적이지만 문제적인 가정을 해결하기 위해.
• 진짜 데이터 생성 과정에 대한 사전 지식이 없이도 시계열 오차의 자기상관을 보정할 수 있는 일반화 가능한 방법을 개발하기 위해.
• 잔차 자기상관의 실증적 임계값을 특정하여 조정이 유익한 시점을 판단할 수 있도록 하기 위해.
• 예측 외에도 회귀, 분류, 이상 탐지 등 다양한 시계열 작업에서 방법의 효과성을 검증하기 위해.

제안 방법

• 신경망 파라미터와 함께 경사하강법을 통해 학습되는 추정 자기상관관계수 ρ를 포함하는 미분 가능한 손실 함수를 도입한다.
• 표준 최대우도추정법을 수정하여 오차 항에 일阶 자기상관을 고려한 다변량 정규분포와 토플리츠 공분산 행렬을 사용한다.
• 백프로파게이션을 사용해 엔드 투 엔드로 모델을 훈련함으로써 ρ를 네트워크 가중치와 함께 최적화할 수 있도록 하여, 자기상관 오차를 자동으로 탐지하고 수정할 수 있도록 한다.
• 손실 함수에 입력 시퀀스와 출력 시퀀스 양쪽 모두에 이 방법을 적용하였으며, 추론 실험을 통해 동시 조정이 가장 큰 성능 향상을 가져옴을 확인하였다.
• 실증적인 임계값은 대규모 실험을 통해 유도되었으며, 실무자들이 언제 조정을 적용할지 가이드할 수 있도록 한다.
• 각 작업의 예측 오차를 자기상관이 있는 시계열로 간주하여, 이 방법을 다른 시계열 작업으로 확장한다.

실험 결과

연구 질문

• RQ1 신경망 파라미터와 함께 자기상관관계수 ρ를 동시 학습함으로써 다양한 데이터셋과 아키텍처에서 시계열 예측 성능 향상이 가능할 수 있는가?
• RQ2 잔차 자기상관의 실증적 임계값은 어떤 기준이 되며, 이를 실용적인 지침으로 어떻게 활용할 수 있는가?
• RQ3 모델 표현력(예: 은닉 유닛 수가 다른 LSTMs)이 증가함에 따라 자기상관 오차 보정으로 인한 성능 향상은 어떻게 변화하는가?
• RQ4 제안된 방법은 예측 외에도 회귀, 분류, 이상 탐지와 같은 다른 시계열 작업으로 일반화되는가?
• RQ5 입력 시퀀스와 출력 시퀀스에서의 자기상관 보정 기여도는 각각 어떻게 다른가? 그리고 동시 조정이 최적의 성능을 낼 수 있는가?

주요 결과

• 제안된 방법은 다양한 실제 데이터셋과 최신 신경망 아키텍처에서 거의 모든 시계열 예측 실험에서 성능 향상을 보였다.
• 모델 표현력이 증가함에 따라(예: 더 큰 LSTM 아키텍처에서) 자기상관 오차 보정으로 인한 상대적 향상은 감소함을 확인하여, 더 복잡한 모델일수록 보정이 덜 필요함을 시사한다.
• 잔차 자기상관에 대한 실증적 임계값이 확인되었으며, 조정이 필요한지 판단할 실용적 기준을 제공한다.
• 추론 실험 결과, 입력 및 출력 시퀀스 양쪽에서 자기상관을 동시에 보정할 경우 성능 향상이 가장 크며, 개별적으로 보정하는 것보다는 작지만 여전히 유익한 개선 효과를 보였다.
• 이 방법은 회귀, 분류, 비지도 이상 탐지 등 여러 시계열 작업에서 성능을 유지하거나 향상시키며, 광범위한 적용 가능성을 입증하였다.
• 모델이 이미 매우 표현력이 뛰어나고 잘 지정되어 있는 경우 자기상관 보정이 덜 효과적이지만, 진짜 데이터 생성 과정이 알려져 있지 않은 실제 상황에서는 여전히 유익한 성능 향상을 제공한다.