[논문 리뷰] On the statistical inference for large precision matrices with dependent data

Jinyuan Chang, Yumou Qiu외 1명|arXiv (Cornell University)|2016. 03. 22.

Statistical Methods and Bayesian Inference참고 문헌 2인용 수 3

한 줄 요약

이 논문은 종속적인 시간열 자료 하에서 초고차원 정밀행렬의 원소에 대한 渐近적으로 타당한 신뢰영역을 구성하기 위한 데이터 기반 절차를 제안한다. 정규화된 노드별 회귀와 커널 유형의 장기 공분산 추정기의 조합을 통해, 정상성이나 공분산 구조에 대한 강력한 구조적 가정 없이도 균일한 커버리지 타당성을 달성한다.

ABSTRACT

Precision matrices play important roles in many statistical applications. We consider the statistical inference for precision matrices with ultra high-dimensional time dependent observations. More specifically, let $\boldsymbol{\Omega}$ be the precision matrix and $\mathcal{S}$ be a given index set of interest. We propose a data-driven procedure to construct a class of confidence regions $\mathcal{C}_{\mathcal{S},\alpha}$ for $\boldsymbol{\Omega}_{\mathcal{S}}$ such that $\sup_{0<\alpha<1} |\mathbb{P}(\boldsymbol{\Omega}_{\mathcal{S}}\in\mathcal{C}_{\mathcal{S},\alpha})-\alpha| ightarrow0$ as $n ightarrow\infty$, where $\boldsymbol{\Omega}_{\mathcal{S}}$ is a vector whose components are the elements of $\boldsymbol{\Omega}$ indexed by $\mathcal{S}$. The proposed procedure includes two steps. We first derive an estimator $\widehat{\boldsymbol{\Omega}}_{\mathcal{S}}$ for $\boldsymbol{\Omega}_{\mathcal{S}}$ via penalized node-wise regressions, and then approximate the distribution of $n^{1/2}|\widehat{\boldsymbol{\Omega}}_{\mathcal{S}}-\boldsymbol{\Omega}_{\mathcal{S}}|_\infty$ by that of the $l_\infty$-norm of an ultra high-dimensional Gaussian random vector with mean zero and covariance formulated as an estimate for the long-run covariance of an unobservable process. Our analysis shows that the kernel-type estimator initially suggested by Andrews (1991) for the fixed dimensional long-run covariance can be also employed in the proposed procedure for the ultra high-dimensional scenario without imposing any additional stringent structural assumptions on the long-run covariance. Owing to the form of the kernel-type estimator, we develop a computationally feasible algorithm to implement the proposed procedure. Theoretical analysis shows the proposed procedure works well even without imposing the stationary assumption on the data.

연구 동기 및 목표

• 관측값이 초고차원적이고 시간에 따라 종속적인 경우 정밀행렬에 대한 통계적 추론 절차를 개발하기 위해.
• 특정 정밀행렬 원소의 부분집합에 대해 渐近적으로 타당한 커버리지 성질을 유지하는 신뢰영역을 구성하기 위해.
• 장기 공분산 행렬에 대한 정상성이나 특정 희박성 구조와 같은 제약 조건 없는 가정을 피하기 위해.
• 약한 의존성을 가진 초고차원 시간열 설정에서 계산적으로 실현 가능한 추론을 가능하게 하기 위해.

제안 방법

• 일관된 추정기 $ω’_{\mathcal{S}}$ 를 확보하기 위해 관심 있는 정밀행렬 원소를 정규화된 노드별 회귀를 통해 추정한다.
• 추정 오차 $n^{1/2}|\widehat{\boldsymbol{\Omega}}_{\mathcal{S}} - \boldsymbol{\Omega}_{\mathcal{S}}|_\infty$ 의 분포를 고차원 정규분포 벡터의 $l_\infty$-노름을 사용하여 근사한다.
• Andrews (1991)에서 유도된 커널 유형의 장기 공분산 추정기를 사용하여 관측 불가능한 과정의 장기 공분산을 모델링한다.
• 장기 공분산에 추가적인 구조적 제약 조건을 부과하지 않고 커널 추정기를 활용하여 강건성을 향상시킨다.
• 커널 추정기의 구조를 활용하여 초고차원에서 실현 가능한 추론을 가능하게 하는 계산적으로 효율적인 알고리즘을 개발한다.

실험 결과

연구 질문

• RQ1 자료가 종속적이고 초고차원적일 때, 초고차원 정밀행렬 원소에 대해 타당한 신뢰영역을 구성할 수 있는가?
• RQ2 표본 크기가 증가함에 따라 정상성을 가정하지 않더라도 제안된 방법이 균일한 커버리지 확률을 유지하는가?
• RQ3 Andrews (1991)의 커널 유형 장기 공분산 추정기를 추가 가정 없이 초고차원 설정으로 효과적으로 확장할 수 있는가?
• RQ4 초고차원 시간열에서 추정 오차의 점근적 분포를 일致적으로 근사할 수 있는가?

주요 결과

• 제안된 신뢰영역은 균일한 커버리지 타당성을 달성한다: $\sup_{0<\alpha<1} |\mathbb{P}(\boldsymbol{\Omega}_{\mathcal{S}} \in \mathcal{C}_{\mathcal{S},\alpha}) - \alpha| \to 0$ 이다. $n \to \infty$ 일 때.
• 기초 시간열의 정상성을 가정하지 않아도 방법이 유효하여 적용 범위가 넓어진다.
• 커널 유형의 장기 공분산 추정기는 추가적인 구조적 가정 없이도 초고차원 설정에 직접 적용 가능하다.
• 커널 추정기의 특정 구조 덕분에 계산적으로 실현 가능하여 고차원에서의 구현이 가능하다.