[논문 리뷰] Forecasting time series with encoder-decoder neural networks

Nathawut Phandoidaen, Stefan Richter|arXiv (Cornell University)|2020. 09. 18.

Neural Networks and Applications참고 문헌 19인용 수 7

한 줄 요약

이 논문은 고차원 시계열 예측을 위한 인코더-디코더 신경망을 제안하며, 과거 관측치의 변화를 압축된 잠재 표현을 통해 모델링한다. 구조적 및 희박성 가정 하에서, 기능적 종속성 측도 또는 절대적으로 정규화된 혼합 계수를 사용하여 예측 오차의 기대값에 대한 새로운 오рак루 유형 부등식과 상한을 수립한다. 이는 기존 비모수적 방법에 비해 고차원에서 훨씬 향상된 수렴 속도를 제공한다.

ABSTRACT

In this paper, we consider high-dimensional stationary processes where a new observation is generated from a compressed version of past observations. The specific evolution is modeled by an encoder-decoder structure. We estimate the evolution with an encoder-decoder neural network and give upper bounds for the expected forecast error under specific structural and sparsity assumptions. The results are shown separately for conditions either on the absolutely regular mixing coefficients or the functional dependence measure of the observed process. In a quantitative simulation we discuss the behavior of the network estimator under different model assumptions. We corroborate our theory by a real data example where we consider forecasting temperature data.

연구 동기 및 목표

• 비모수적 시계열 예측에서 차원의 저주 문제를 해결하기 위해 구조화된 인코더-디코더 신경망을 도입하기 위해.
• 강한 모수적 가정을 피하면서 약한 의존성 조건 하에서 예측 오차의 이론적 상한을 도출하기 위해.
• 기존의 i.i.d. 설정 결과를 기능적 종속성 측도 또는 혼합 계수를 사용해 의존적인 고차원 시계열로 일반화하기 위해.
• 특히 네트워크 아키텍처와 학습 샘플 수 요구 조건을 고려할 때 신경망 설계에 대한 이론적 근거를 제공하기 위해.

제안 방법

• 시계열의 진화를 $ X_{r+1} = f_0(X_{r},...,X_{1}) + \varepsilon_{r+1} $ 로 모델링하며, $ f_0 $ 는 인코더-디코더 구조를 가진 신경망을 통해 추정된다.
• 구조적 가정을 도입하여 $ f_0 $ 가 이전 $ r $ 개의 관측치를 저차원 잠재공간으로 압축한 후 다음 관측치를 예측하기 위해 디코딩한다.
• 신경망 추정기 $ \hat{f}^{\text{net}} $ 를 사용해 $ f_0 $ 를 근사하며, 오차는 가중 평균 제곱 예측 오차인 $ \mathbb{E}D(\hat{f}) $ 로 측정된다.
• 시계열의 의존성 정도를 측정하기 위해 기능적 종속성 측도(FDM)와 절대적으로 정규화된 혼합 계수를 사용한다.
• 이들 의존성 프레임워크 하에서 근사 오차와 추정 오차를 통합한 오라클 유형 부등식을 유도한다.
• 비모수적 근사 이론과 농도 불등식을 적용하여 초과 위험을 상한선으로 제한하며, 인코더-디코더 구조를 활용해 차원의 저주를 피한다.

실험 결과

연구 질문

• RQ1 인코더-디코더 신경망은 고차원 시계열 예측에서 기존 비모수적 추정기보다 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ2 약한 의존성 가정 하에서 예측 오차의 기대값에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ3 기능적 종속성 측도와 절대적으로 정규화된 혼합 계수는 신경망 추정기의 수렴 속도에 어떤 영향을 미치는가?
• RQ4 인코더-디코더 구조는 효과적인 차원을 얼마나 줄이고 추정 효율성을 얼마나 향상시키는가?

주요 결과

• 논문은 기능적 종속성 측도 또는 혼합 조건 하에서 의존적인 고차원 시계열에 대해 예측 오차에 대한 최초의 오라클 유형 부등식을 수립한다.
• 인코더-디코더 구조 하에서, 기존 비모수적 방법이 차원의 저주로 고통받는 것과는 달리 신경망 추정기의 수렴 속도가 크게 향상된다.
• 예측 오차의 기대값에 대한 상한은 $ O(n^{-\frac{2\beta}{2\beta + d r}}) $ 의 순서이지만, 희박성 및 구조적 가정 하에서는 더 빠른 수렴 속도를 달성할 수 있다.
• 이론적 결과는 필요한 학습 샘플 수가 전체 입력 차원이 아닌 인코더의 잠재 차원에 따라 유리하게 증가함을 보여준다.
• 시뮬레이션 연구는 진짜 함수가 저차원 잠재 구조를 가질 경우 특히 잘 작동함을 확인한다.
• 기온 예측에 대한 실데이터 예시는 장기 예측에서 안정적이고 정확한 예측을 가능하게 하여 이론적 효과성을 실증한다.