[논문 리뷰] Regularized Estimation and Testing for High-Dimensional Multi-Block Vector-Autoregressive Models

Jiahe Lin, George Michailidis|arXiv (Cornell University)|2017. 08. 19.

Complex Systems and Time Series Analysis참고 문헌 45인용 수 35

한 줄 요약

이 논문은 고차원적 다중 블록 벡터 자기회귀(MB-VAR) 모델을 제안하며, 블록 간에 그랜저 원인관계 순서가 존재하고, 정규화된 최대우도 추정과 수렴 보장을 갖춘 반복 알고리즘을 사용한다. 추정기의 이론적 일致성을 확립하고, 블록 간의 그랜저 원인관계를 탐지하기 위한 검정 절차를 개발하였으며, 시뮬레이션 데이터와 S&P100/거시경제 데이터(2001–2016)를 통해 검증하였다.

ABSTRACT

Dynamical systems comprising of multiple components that can be partitioned into distinct blocks originate in many scientific areas. A pertinent example is the interactions between financial assets and selected macroeconomic indicators, which has been studied at aggregate level---e.g. a stock index and an employment index---extensively in the macroeconomics literature. A key shortcoming of this approach is that it ignores potential influences from other related components (e.g. Gross Domestic Product) that may exert influence on the system's dynamics and structure and thus produces incorrect results. To mitigate this issue, we consider a multi-block linear dynamical system with Granger-causal ordering between blocks, wherein the blocks' temporal dynamics are described by vector autoregressive processes and are influenced by blocks higher in the system hierarchy. We derive the maximum likelihood estimator for the posited model for Gaussian data in the high-dimensional setting based on appropriate regularization schemes for the parameters of the block components. To optimize the underlying non-convex likelihood function, we develop an iterative algorithm with convergence guarantees. We establish theoretical properties of the maximum likelihood estimates, leveraging the decomposability of the regularizers and a careful analysis of the iterates. Finally, we develop testing procedures for the null hypothesis of whether a block "Granger-causes" another block of variables. The performance of the model and the testing procedures are evaluated on synthetic data, and illustrated on a data set involving log-returns of the US S&P100 component stocks and key macroeconomic variables for the 2001--16 period.

연구 동기 및 목표

• 주요 시스템 외부의 영향력 있는 변수를 忽시하는 집계 수준의 VAR 모델의 한계를 해결하여 편향된 추론을 방지한다.
• 변수들이 계층적이고 단방향 그랜저 원인관계를 가지는 블록으로 분할되는 복잡한 동적 시스템을 모델링한다.
• 희소성 가정 하에 고차원 MB-VAR 모델의 정규화된 최대우도 추정 프레임워크를 개발한다.
• 고차원 점점 증가하는 상황에서 추정기의 이론적 성질, 특히 일치성과 수렴 속도를 확립한다.
• 한 블록이 다른 블록에 그랜저 원인관계를 가지는지 평가하기 위한 공식적인 가설 검정 절차를 설계하여 다변량 시계열에서의 원인관계 추론을 가능하게 한다.

제안 방법

• 블록 간에 방향성 있는 비순환적 구조를 가지는 순차적 다중 블록 VAR 모델을 설정하며, 그랜저 원인관계 순서를 가정한다.
• 고차원 환경에서의 희소성 유도를 위해 각 블록의 계수 행렬에 블록별 정규화(예: 그룹 라소 또는 융합 라소)를 적용한다.
• 정규화된 로그우도를 최대화하기 위한 반복 최적화 알고리즘(예: 블록 좌표 강하)을 개발하며, 수렴 보장을 갖춘다.
• 정규화자의 분해 가능성과 농도 불등식을 활용하여 반복의 행동을 분석하고 오차 한계를 유도한다.
• 귀무가설 하에서 검정 통계량의 점근적 분포를 활용하여, 블록 간 그랜저 원인관계를 위한 최대우도 비율 검정을 구성한다.
• 고차원 랜덤 행렬 이론을 활용하여 정밀도 행렬과 공분산 추정기의 추정 오차를 경계한다.

실험 결과

연구 질문

• RQ1 고차원 점점 증가하는 상황에서 계층적 그랜저 원인관계 순서가 있는 고차원 다중 블록 VAR 모델을 일관되게 추정할 수 있는가?
• RQ2 제안된 정규화된 최대우도 추정기가 계수 행렬과 정밀도 행렬에 대해 최적의 수렴 속도를 달성하는가?
• RQ3 추정을 위해 사용된 반복 알고리즘이 정상점으로 수렴함을 보장할 수 있는가?
• RQ4 제안된 검정 절차는 고차원 환경에서 블록 간 그랜저 원인관계를 탐지하는 데 유효한가?
• RQ5 예를 들어 GDP, M2와 같은 추가 블록을 포함할 경우, 금융 자산과 거시경제 지표 간의 원인관계 추론에 어떤 영향을 미치는가?

주요 결과

• 정규화된 최대우도 추정기는 프로베니우스 노름 오차율 $ Oig( frac{ ext{log}(p_1 + p_2) + ext{log} p_2}{T}ig) $ 을 달성하며, 이는 초기 반복의 오차율과 일치하여 안정적인 수렴을 나타낸다.
• 반복 알고리즘은 높은 확률로 전역적으로 수렴하며, 반복 과정 전반에 걸쳐 추정된 매개변수의 오차 한계가 균일하게 제어된다.
• 귀무가설 하에서 블록 간 그랜저 원인관계에 대한 검정 통계량은 점점 증가하는 상황에서 카이제곱 분포를 점근적으로 따르며, 유효한 추론이 가능하다.
• 이론적 분석을 통해 추정기는 희소성과 고차원 척도 조건 하에서 일관성을 확보하며, 정규화자가 블록 단위의 희소성을 촉진함을 확인한다.
• 시뮬레이션 데이터에 대한 실증 평가에서 방법이 진정한 원인 구조를 회복하고 유형 I 오류 비율을 제어할 수 있음을 확인하였다.
• S&P100 주가 수익률과 거시경제 변수(2001–2016)에 대한 적용 결과, 거시경제 지표가 금융 자산 수익률에 유의미한 그랜저 원인관계를 가지며, GDP와 M2가 강력한 예측 능력을 보임을 밝혀냈다.