[논문 리뷰] An autocovariance-based learning framework for high-dimensional functional time series

Jinyuan Chang, Cheng Chen외 2명|arXiv (Cornell University)|2020. 08. 29.

Statistical Methods and Inference참고 문헌 39인용 수 9

한 줄 요약

이 논문은 높은 차원의 기능적 시간 시리즈에서 고차원적이고 순차적으로 종속된 기능적 데이터 및 측정 오차를 고려한 자코비안 기반 학습 프레임워크를 제안한다. 자코비안 함수를 활용해 잡음을 걸러내는 방식으로, 자코비안 기반 차원 감소, 블록 정규화된 최소 거리 추정, 그리고 시뮬레이션 및 실제 데이터에서 경쟁 기법들보다 뛰어난 추정 정확도를 달성한다.

ABSTRACT

Many scientific and economic applications involve the statistical learning of high-dimensional functional time series, where the number of functional variables is comparable to, or even greater than, the number of serially dependent functional observations. In this paper, we model observed functional time series, which are subject to errors in the sense that each functional datum arises as the sum of two uncorrelated components, one dynamic and one white noise. Motivated from the fact that the autocovariance function of observed functional time series automatically filters out the noise term, we propose a three-step procedure by first performing autocovariance-based dimension reduction, then formulating a novel autocovariance-based block regularized minimum distance estimation framework to produce block sparse estimates, and based on which obtaining the final functional sparse estimates. We investigate theoretical properties of the proposed estimators, and illustrate the proposed estimation procedure via three sparse high-dimensional functional time series models. We demonstrate via both simulated and real datasets that our proposed estimators significantly outperform the competitors.

연구 동기 및 목표

• 기능적 변수의 수가 시간 포인트의 수와 유사하거나 이를 초과하는 고차원 기능적 시간 시리즈에서의 통계적 학습 도전 과제를 해결한다.
• 관측된 기능적 시간 시리즈를 동적 기능적 성분과 i.i.d. 측정 오차(화이트 노이즈)의 합으로 모델링하며, 두 성분은 상관이 없다.
• 자코비안 함수가 화이트 노이즈를 자연스럽게 걸러낼 수 있음을 활용해 고차원 설정에서도 강인한 추정이 가능하도록 하는 프레임워크를 개발한다.
• 새로운 블록 정규화된 최소 거리 추정 절차를 도입해 추정된 기능적 계수의 희박성을 달성한다.
• 측정 오차가 존재하는 고차원 기능적 시간 시리즈 설정에서 제안된 추정기의 비점근 이론적 보장을 수립한다.

제안 방법

• 관측된 기능적 시간 시리즈를 $\mathbf{W}_t(\cdot) = \mathbf{X}_t(\cdot) + \mathbf{e}_t(\cdot)$ 로 모델링하며, $\mathbf{X}_t(\cdot)$ 는 동적 성분이고 $\mathbf{e}_t(\cdot)$ 는 화이트 노이즈이다.
• 자코비안 함수를 사용해 $\mathbf{W}_t(\cdot)$ 의 자코비안 함수를 활용해 화이트 노이즈 성분을 자동으로 걸러내며, $\mathbf{e}_t(\cdot)$ 의 자코비안은 비영인 지연에서 0이므로 가능하다.
• 자코비안 연산자의 고유함수를 사용해 기능적 데이터를 유한 차원 부분공간에 투영함으로써 자코비안 기반 차원 감소를 수행한다.
• 기능적 계수 연산자를 추정하기 위해 블록 정규화된 최소 거리 추정 절차를 설정하며, 기능적 변수 간의 블록 희박성을 촉진한다.
• 기능적 계수의 블록 내에서 희박성을 유도하기 위해 그룹-라소 유사 펜alties를 적용하여 해석 가능성과 추정 효율성을 향상시킨다.
• 측정 오차가 존재하는 고차원 기능적 시간 시리즈 모델에서 추정기의 비점근 수렴 속도를 수립한다.

실험 결과

연구 질문

• RQ1 잡음이 있는 기능적 시간 시리즈의 자코비안 함수를 사용해 측정 오차를 걸러내면서도 기저의 동적 구조를 일관되게 추정할 수 있는가?
• RQ2 자코비안 기반 투영을 통해 고차원 기능적 시간 시리즈에서 효과적으로 차원 감소를 수행할 수 있는가?
• RQ3 측정 오차가 존재하는 고차원 기능적 시간 시리즈에서 블록 정규화된 최소 거리 추정기의 이론적 성능은 어떠한가?
• RQ4 유한 표본에서 제안된 프레임워크는 기존 방법에 비해 추정 정확도와 희박성 복구 성능에서 어떻게 비교되는가?
• RQ5 제안된 방법이 고차원 기능적 시간 시리즈에서 일관된 변수 선택과 추정을 달성하는 조건은 무엇인가?

주요 결과

• 제안된 자코비안 기반 프레임워크는 화이트 노이즈 성분을 성공적으로 걸러내어 기저의 동적 기능적 시간 시리즈 구조를 일관되게 추정한다.
• 블록 정규화된 최소 거리 추정기는 고차원 설정에서 일관된 추정을 달성하며, 추정 오차에 대한 비점근 수렴 속도가 확립되었다.
• 유한 표본에서 뛰어난 성능을 보이며, 시뮬레이션 및 실제 데이터 세트(예: S&P 100 주가 수익률 밀도 곡선 포함)에서 경쟁 기법들을 크게 앞서 간다.
• 이론적 분석을 통해 적절한 조건 하에서 추정기가 희박성 복구를 달성함을 확인하였으며, 블록 구조가 변수 선택 정확도를 향상시킨다.
• 적절한 규칙성 조건 하에서 추정기의 수렴 속도는 $O_p(\sqrt{\log p / n})$ 의 순서를 가지며, 이는 양호한 유한 표본 성능를 시사한다.
• 실제 데이터(예: S&P 100 주가 수익률 밀도)에 대한 실증 결과는 고차원 기능적 시간 시리즈에서 의미 있는 희박한 구조를 회복할 수 있음을 확인한다.