[논문 리뷰] Missing Data in Sparse Transition Matrix Estimation for Sub-Gaussian Vector Autoregressive Processes

Amin Jalali, Rebecca Willett|arXiv (Cornell University)|2018. 02. 26.

Statistical Methods and Inference참고 문헌 7인용 수 4

한 줄 요약

이 논문은 랜덤하게 소실된 관측치를 가진 고차원의 서브가우시안 벡터 자기회귀(VAR) 모델에서 희박 전이 행렬 복구를 위한 새로운 LASSO 기반 추정기법을 제안한다. 관측치는 i.i.d. 베르누이 마스크를 통해 무작위로 절단된다. 논문은 창의적인 농도 불등식과 새로운 종속성 측정법 $φ_2(B_0)$를 사용하여 비점근적 오차 경계를 수립하였으며, 이는 창의적 농도 성질을 갖는 오차 노이즈의 조건 하에 성립한다.

ABSTRACT

High-dimensional time series data exist in numerous areas such as finance, genomics, healthcare, and neuroscience. An unavoidable aspect of all such datasets is missing data, and dealing with this issue has been an important focus in statistics, control, and machine learning. In this work, we consider a high-dimensional estimation problem where a dynamical system, governed by a stable vector autoregressive model, is randomly and only partially observed at each time point. Our task amounts to estimating the transition matrix, which is assumed to be sparse. In such a scenario, where covariates are highly interdependent and partially missing, new theoretical challenges arise. While transition matrix estimation in vector autoregressive models has been studied previously, the missing data scenario requires separate efforts. Moreover, while transition matrix estimation can be studied from a high-dimensional sparse linear regression perspective, the covariates are highly dependent and existing results on regularized estimation with missing data from i.i.d.~covariates are not applicable. At the heart of our analysis lies 1) a novel concentration result when the innovation noise satisfies the convex concentration property, as well as 2) a new quantity for characterizing the interactions of the time-varying observation process with the underlying dynamical system.

연구 동기 및 목표

• 관측치가 부분적이고 무작위로 손실된 경우 고차원의 벡터 자기회귀(VAR) 모델에서 희박 전이 행렬을 추정하는 데 도전하는 것.
• 시간적 및 다변량 간 상관관계가 강한 시계열 자료에서는 강력한 시간적 및 변수 간 종속성이 존재하므로, i.i.d. 공변수를 가정하는 기존 정규화 추정 방법의 한계를 극복하는 것.
• 특히 서브가우시안 오차 노이즈와 희박 전이 구조를 가진 경우, 손실된 자료가 존재하는 상황에서 추정 오차에 대한 이론적 보장을 개발하는 것.
• 시간 변화하는 관측 과정과 기저 역학 시스템 간의 상호작용을 기술하기 위해 새로운 종속성 측정법 $φ_2(B_0)$를 도입하는 것.
• 손실된 자료 패턴을 고려한 제약 최적화 프레임워크 하에서 제안된 추정기의 비점근적 $c2$ 및 $c1$ 오차 경계를 제공하는 것.

제안 방법

• 손실된 자료를 보정하는 항을 포함한 수정된 손실 함수를 사용하여 제약 조건이 있는 LASSO 최적화 문제로 추정 문제를 수립하며, 이는 표본 자기공분산의 대각 블록 행렬 $cD$ 를 포함한다.
• 모수 수준의 관측 패턴을 사용하여 손실 함수를 조정함으로써 비볼록 최적화 설정에서 일관성과 무한해지 방지를 보장한다.
• 오차 노이즈의 볼록 농도 성질 하에서, 절단된 과정의 경험 공분산에 대한 새로운 농도 불등식을 도입한다.
• 관측 과정과 역학 시스템 간의 상호작용을 정량화하기 위해 새로운 종속성 측정법 $φ_2(B_0)$를 정의하며, 이는 오차 경계에서 중심적인 역할을 한다.
• 표준 LASSO 분석 프레임워크(부록의 정리 6)를 적용하고, 새로운 행렬 농도 결과를 결합하여 $c1$ 및 $c2$ 노름에서 추정 오차를 경계한다.
• 선형 연산자 노름 부등식과 스펙트럼 분해 기법을 사용하여 오차 경계를 유도하며, 특히 절단된 설계 행렬 $cX$ 와 전체 행렬 $cW$ 간의 관계를 활용한다.

실험 결과

연구 질문

• RQ1 관측치가 무작위로 손실된 경우 고차원 VAR 모델에서 희박 전이 행렬 추정을 어떻게 일관적으로 수행할 수 있는가?
• RQ2 특히 i.i.d. 공변수 가정이 성립하지 않는 종속적인 손실된 시계열 자료에서 정규화 추정을 분석하기 위해 어떤 새로운 이론적 도구가 필요한가?
• RQ3 관측 과정과 기저 역학 시스템 간의 상호작용이 추정 정확도에 어떤 영향을 미치며, 이를 어떻게 정량화할 수 있는가?
• RQ4 오차 노이즈의 볼록 농도 성질이 손실된 자료가 존재하는 상황에서 경험 모멘트의 농도에 어떤 영향을 미치는가?
• RQ5 이러한 손실된 자료 설정에서 LASSO 유형 추정기의 비점근적 오차 경계를 수립할 수 있는가? 그리고 경계에 영향을 미치는 주요 요소는 무엇인가?

주요 결과

• 논문은 적절한 조건 하에서 손실된 자료가 존재하는 상황에서 제안된 LASSO 추정기의 비점근적 $c1$ 및 $c2$ 추정 오차 경계를 수립하였으며, 오차는 조건이 만족될 경우 $O(\sqrt{\frac{\log p}{n}})$ 의 비율로 척도가 조정된다.
• 오차 노이즈의 볼록 농도 성질 하에서 절단된 과정의 경험 공분산에 대한 새로운 농도 불등식이 유도되었으며, 이는 추정 오차의 엄밀한 제어를 가능하게 한다.
• 관측 과정과 역학 시스템 간의 종속성은 새로운 양수인 $φ_2(B_0)$ 를 통해 기술되며, 이는 오차 경계에 나타나며 희박성, 시간적 종속성 및 손실도의 상호작용을 반영한다.
• 제안된 추정기는 손실된 자료에 대해 강건하며, 손실 확률 $δ < 1$ 이면 설계 행렬이 무작위로 i.i.d. 마스크에 의해 손상되더라도 일관성을 유지한다.
• 오차 경계는 희박성 수준 $k = \|B_0\|_0$, 차원 $p$, 표본 크기 $n$ 에 따라 달라지며, $n$ 이 증가하거나 $k$ 가 감소할수록 경계가 수축한다.
• 분석은 i.i.d. 베르누이 마스크를 초월하여, 제일 0 및 1차 자기공분산이 0이 아닌 공분산 정적 관측 과정으로 일반화되어 있으며, 다양한 손실된 자료 메커니즘에 대한 적용 가능성을 넓힌다.