[논문 리뷰] Theoretical analysis of deep neural networks for temporally dependent observations

Mingliang Ma, Abolfazl Safikhani|arXiv (Cornell University)|2022. 10. 20.

Stock Market Forecasting Methods인용 수 4

한 줄 요약

이 논문은 시간적으로 종속된 시계열 데이터에서 ReLU 활성화를 갖는 깊이 있는 피드포워드 신경망에 대한 비 渐近 예측 오차 경계를 수립한다. 혼합형 종속성 가정 하에서 수렴 속도는 독립 데이터에 비해 추가로 log⁴(n) 요소를 포함하며, 이는 비선형 시계열 모델링에서 시계열 종속성이 신경망 성능에 미치는 영향을 정량화한다.

ABSTRACT

Deep neural networks are powerful tools to model observations over time with non-linear patterns. Despite the widespread use of neural networks in such settings, most theoretical developments of deep neural networks are under the assumption of independent observations, and theoretical results for temporally dependent observations are scarce. To bridge this gap, we study theoretical properties of deep neural networks on modeling non-linear time series data. Specifically, non-asymptotic bounds for prediction error of (sparse) feed-forward neural network with ReLU activation function is established under mixing-type assumptions. These assumptions are mild such that they include a wide range of time series models including auto-regressive models. Compared to independent observations, established convergence rates have additional logarithmic factors to compensate for additional complexity due to dependence among data points. The theoretical results are supported via various numerical simulation settings as well as an application to a macroeconomic data set.

연구 동기 및 목표

• 비선형 시계열에서 시간적 종속성이 존재하는 상황에서 깊이 있는 신경망에 대한 이론적 기반의 부족을 해결하기 위해.
• 이전에 독립 관측값을 전제로 유도된 수렴 속도 결과를 시간적으로 종속적이며(stationary) 정적인 시계열 데이터로 확장하기 위해.
• 시간적 종속성이 깊이 있는 신경망의 예측 오차 수렴 속도에 미치는 영향을, ReLU 활성화를 갖는 희박한 피드포워드 아키텍처를 통해 정량화하기 위해.
• 시뮬레이션과 거시경제 데이터 응용을 통해 이론적 결과를 검증하여 실용적 관련성을 입증하기 위해.

제안 방법

• 혼합형 종속성 가정 하에서 ReLU 활성화를 갖는 희박한 피드포워드 신경망에 대한 비 渐近 예측 오차 경계를 유도한다.
• 통계적 리스크 프레임워크를 사용하여 기대 제곱 예측 오차를 분석하며, 이는 근사 오차와 추정 오차 성분을 포함한다.
• Wold 분해를 적용하여 일반적인 정적 시계열 모델에 대한 결과를 확장하고, 수렴 속도를 AR(∞) 계수의 감쇠 속도와 연결한다.
• 엔트로피 기반 기법과 커버링 수를 활용하여 함수 클래스의 복잡도를 제어하며, log N_n 가 dL log n 비례하도록 한정한다.
• 과거 관측값을 통합하고 깊이와 희박성을 활용하여 진짜 회귀 함수를 근사하는 신경망 아키텍처를 제안한다.
• 두 단계적 추론을 통해 수렴 속도를 확립한다: 계수 감쇠로 인한 근사 오차 한정과 종속성으로 인한 log⁴(n) 요소에 의한 추정 오차 한정.

실험 결과

연구 질문

• RQ1 시계열 데이터의 시간적 종속성이 깊이 있는 신경망의 예측 오차 수렴 속도에 어떻게 영향을 미치는가?
• RQ2 혼합 조건과 같은 약한 종속성 가정 하에서도 깊이 있는 신경망에 대한 이론적 예측 오차 경계를 수립할 수 있는가?
• RQ3 AR(∞) 계수의 감쇠 속도가 비선형 시계열에서 신경망 추정자의 수렴 속도에 미치는 영향은 무엇인가?
• RQ4 종속성으로 인해 발생하는 로그 요소가 독립 케이스와 비교해 수렴 속도에 어떻게 영향을 미치는가?
• RQ5 이론적 예측이 시뮬레이션과 실제 거시경제 예측에서의 실증 성능과 얼마나 일치하는가?

주요 결과

• 시간적으로 종속된 데이터에서 깊이 있는 신경망의 예측 오차 수렴 속도는 독립 케이스에 비해 추가로 log⁴(n) 요소를 포함하며, 종속성으로 인한 복잡도 증가를 반영한다.
• 혼합 조건 하에서 신경망 추정자의 통계적 리스크는 독립 케이스와 비교해 log⁴(n) 곱인 요소 외에는 동일하며, 이는 이론적 일致성을 입증한다.
• AR(∞) 표현을 갖는 시계열의 경우 계수 φ_i 의 감쇠 속도가 근사 오차를 결정하며, 더 빠른 감쇠는 더 좋은 수렴 속도를 이끈다.
• 계수 감쇠가 지수 α 로 다항식 감쇠일 경우 최적의 수렴 속도는 O(n⁻α/(α+1)) 이며, 적절한 네트워크 깊이와 너비 선택으로 달성 가능하다.
• 실증 결과로 깊이 있는 신경망이 선형 및 비선형 AR 모델에서 LSTMs와 경쟁 가능한 성능을 보이며, 예측 오차에 통계적으로 유의미한 차이가 없음을 확인하였다.
• 이론적 경계는 시뮬레이션과 실제 거시경제 데이터 세트를 통해 지지되며, 시계열 예측에서 모델의 강건성과 실용적 관련성을 확인한다.