[논문 리뷰] Masked Toeplitz covariance estimation

Maryia Kabanava, Holger Rauhut|arXiv (Cornell University)|2017. 09. 27.

Random Matrices and Applications참고 문헌 22인용 수 5

한 줄 요약

이 논문은 진짜 공분산 행렬이 희박하고 토플리츠 행렬로 구조화되어 있을 때 고차원 데이터에 대해 마스킹된 토플리츠 공분산 추정기를 제안한다. 이는 스펙트럼 밀도 함수를 통한 스펙트럼 노름 한계를 활용한다. 가우시안 및 볼록 농도 가정 하에 개선된 추정 오차 한계를 확립하며, 이는 이전 결과를 크게 일반화하며, 토플리츠 행렬의 노름과 스펙트럼 밀도 행동 간의 연결을 통해 이루어진다.

ABSTRACT

The problem of estimating the covariance matrix $Σ$ of a $p$-variate distribution based on its $n$ observations arises in many data analysis contexts. While for $n>p$, the classical sample covariance matrix $\hatΣ_n$ is a good estimator for $Σ$, it fails in the high-dimensional setting when $n\ll p$. In this scenario one requires prior knowledge about the structure of the covariance matrix in order to construct reasonable estimators. Under the common assumption that $Σ$ is sparse, a refined estimator is given by $M\cdot\hatΣ_n$, where $M$ is a suitable symmetric mask matrix indicating the nonzero entries of $Σ$ and $\cdot$ denotes the entrywise product of matrices. In the present work we assume that $Σ$ has Toeplitz structure corresponding to stationary signals. This suggests to average the sample covariance $\hatΣ_n$ over the diagonals in order to obtain an estimator $ ildeΣ_n$ of Toeplitz structure. Assuming in addition that $Σ$ is sparse suggests to study estimators of the form $M\cdot ildeΣ_n$. For Gaussian random vectors and, more generally, random vectors satisfying the convex concentration property, our main result bounds the estimation error in terms of $n$ and $p$ and shows that accurate estimation is indeed possible when $n \ll p$. The new bound significantly generalizes previous results by Cai, Ren and Zhou and provides an alternative proof. Our analysis exploits the connection between the spectral norm of a Toeplitz matrix and the supremum norm of the corresponding spectral density function.

연구 동기 및 목표

• 표본 크기 n이 차원 p보다 훨씬 작은 고차원 설정에서 공분산 추정의 과제를 해결하기 위해.
• 특히 정상성에서 유래된 토플리츠 구조를 포함한 구조적 가정과 함께 희박성까지 통합하여 추정 정확도를 향상시키기 위해.
• 기존의 마스킹된 공분산 추정 결과를 일반화하기 위해 토플리츠 행렬의 스펙트럼 성질을 활용하기 위해.
• 가우시안 및 볼록 농도 가정 하에 마스킹된 토플리츠 추정기의 비점근적 오차 한계를 유도하기 위해.

제안 방법

• 두 단계 추정기 제안: 첫째, 표본 공분산 행렬을 대각선에 따라 평균내어 토플리츠 구조를 강제로 부여하여 $\tilde{\Sigma}_n$를 도출하고, 둘째, 대칭 마스크 행렬 $M$을 적용하여 희박성 강제로 $M \cdot \tilde{\Sigma}_n$를 얻는다.
• 편향과 분산 항으로 분해한 추정 오차 분석을 수행하며, 분산 항은 서브가우시안 및 서브가모 농도 부등식을 사용하여 한정한다.
• 특수한 연결 고리 확립: 토플리츠 행렬의 스펙트럼 노름과 그 스펙트럼 밀도 함수의 Supremum 노름 간의 연결.
• 커버링 추론과 모멘트 부등식을 사용하여 마스킹된 표본 공분산 행렬의 스펙트럼 노름을 제어한다.
• 가우시안 농도와 분리 기법을 적용하여 $M \cdot \tilde{\Sigma}_n$와 $M \cdot \Sigma$ 간의 편차에 대한 고확률 한계를 도출한다.
• 스펙트럼 도메인에서 마스크의 희박성과 구조를 측정하는 $\|\omega\|_{2,*}$ 및 $\|\omega\|_{1,*}$ 기반의 한계 유도.

실험 결과

연구 질문

• RQ1 진짜 공분산 행렬이 동시에 희박하고 토플리츠로 구조화되어 있을 때, 고차원 설정($n \ll p$)에서 정확한 공분산 추정이 가능할 수 있는가?
• RQ2 서브가우시안 또는 볼록 농도 가정 하에서 마스킹된 토플리츠 공분산 추정기의 스펙트럼 노름은 어떻게 행동하는가?
• RQ3 스펙트럼 밀도 함수는 구조화된 공분산 행렬의 추정 오차를 한정하는 데 어떤 역할을 하는가?
• RQ4 토플리츠 구조를 통합함으로써 마스킹된 공분산 추정의 오차 한계를 상당히 향상시킬 수 있는가?
• RQ5 로그 및 표본 크기 의존성 측면에서 제안된 방법은 이전 결과와 어떻게 비교되는가?

주요 결과

• 논문은 확률 적어도 $1 - 8pe^{-t}$에서 스펙트럼 노름 오차 $\|M \cdot \tilde{\Sigma}_n - M \cdot \Sigma\| \leq C_2 K^2 \left( \|\omega\|_{2,*} \sqrt{\frac{t}{n}} + \frac{\|\omega\|_{1,*} t}{n} \right)$ 의 고확률 한계를 확립한다. 여기서 $\|\omega\|_{2,*}$ 및 $\|\omega\|_{1,*}$ 는 마스크의 희박성과 구조를 측정한다.
• 가우시안 벡터의 경우 기대 오차는 $\mathbb{E}\|M \cdot \tilde{\Sigma}_n - M \cdot \Sigma\| \leq C_3 K^2 \left( \|\omega\|_{2,*} \sqrt{\frac{\log p}{n}} + \|\omega\|_{1,*} \frac{\log p}{n} \right)$ 로 한정되며, 이는 이전 작업 대비 $n$ 및 $p$ 에 대한 개선된 의존성 보여준다.
• 논문은 토플리츠 행렬의 스펙트럼 밀도 표현과 그 행렬의 스펙트럼 노름과의 연결을 활용함으로써 이전 방법보다 더 날카운 오차 한계를 달성한다.
• 볼록 농도 성질을 만족하는 더 넓은 분포 클래스를 允허함으로써 Cai, Ren, 및 Zhou의 이전 결과를 일반화한다.
• 밴딩 및 테이퍼링 마스크의 경우, 마스크의 열당 최대 $m$개의 비영 요소를 가질 때 오차는 $\sqrt{m/n} + m/n$ 으로 스케일링되며, 이는 알려진 속도를 그대로 따르지만 개선된 상수와 일반성을 보인다.
• 논문은 스펙트럼 밀도 기법을 사용하여 기존 결과의 다른 증명을 제공하며, 토플리츠 및 희박성 제약 하에서 공분산 추정의 구조에 대한 새로운 통찰을 제공한다.