[논문 리뷰] An $\ell_{\infty}$ Eigenvector Perturbation Bound and Its Application to Robust Covariance Estimation

Jianqing Fan, Wei-Chen Wang외 1명|arXiv (Cornell University)|2016. 03. 11.

Sparse and Compressive Sensing Techniques참고 문헌 43인용 수 17

한 줄 요약

이 논문은 저질서, 비일관성 있는 행렬에 대해 기존의 $Ø_{2}$ 기반 바운드보다 $√{d_1}$ 또는 $√{d_2}$ 개선을 보이는 새로운 $ε_{ ext{∞}}$ 고유벡터 섭동 바운드를 수립한다. 이 결과는 첨도가 높은 분포 하에서 더 탄탄한 공분산 추정을 가능하게 하며, 새로운 추정기들이 점점 더 좋은 점근적 성질과 유한 표본에서 강력한 성능을 보이는 데 기여한다.

ABSTRACT

In statistics and machine learning, people are often interested in the eigenvectors (or singular vectors) of certain matrices (e.g. covariance matrices, data matrices, etc). However, those matrices are usually perturbed by noises or statistical errors, either from random sampling or structural patterns. One usually employs Davis-Kahan $\sin θ$ theorem to bound the difference between the eigenvectors of a matrix $A$ and those of a perturbed matrix $\widetilde{A} = A + E$, in terms of $\ell_2$ norm. In this paper, we prove that when $A$ is a low-rank and incoherent matrix, the $\ell_{\infty}$ norm perturbation bound of singular vectors (or eigenvectors in the symmetric case) is smaller by a factor of $\sqrt{d_1}$ or $\sqrt{d_2}$ for left and right vectors, where $d_1$ and $d_2$ are the matrix dimensions. The power of this new perturbation result is shown in robust covariance estimation, particularly when random variables have heavy tails. There, we propose new robust covariance estimators and establish their asymptotic properties using the newly developed perturbation bound. Our theoretical results are verified through extensive numerical experiments.

연구 동기 및 목표

• 기존의 고유벡터 섭동 바운드가 $Ø_{2}$ 노름에 의존하는 데서 비롯되는 한계를 해결하기 위해, 고차원적이고 저질서인 행렬 문제에 대해 최적화되지 않을 수 있는 $Ø_{2}$ 기반 바운드의 문제점을 다루기 위해.
• 저질서, 비일관성 있는 행렬의 특이벡터에 대해 $ε_{\text{∞}}$ 노름에서 더 날카운 섭동 바운드를 개발하기 위해.
• 기존 방법이 실패하는 첨도가 높은 분포 하에서의 탄탄한 공분산 추정에 새로운 바운드를 적용하기 위해.
• 더 나은 이론적 및 실증적 성능을 보이는 새로운 탄탄한 공분산 추정기들을 제안하기 위해.

제안 방법

• 저질서 및 비일관성 조건 하에서 특이벡터에 대한 새로운 $ε_{\text{∞}}$ 섭동 바운드를 유도하여, 기존의 $Ø_{2}$ 바운드 대비 $√{d_1}$ 또는 $√{d_2}$ 요소의 개선을 보여준다.
• 행렬 분해에서 희박성과 노이즈를 반영하기 위해 $\tau_0 = \max\{\sqrt{d_2/d_1}\|E\|_1, \sqrt{d_1/d_2}\|E\|_\infty\}$로 정의된 스케일링된 섭동 측도를 정의한다.
• 행렬 섭동 이론과 스펙트럼 노름 분석을 사용하여 진짜와 섭동된 특이벡터 간의 차이를 $ε_{\text{∞}}$ 노름으로 바운딩한다.
• 새로운 탄탄한 공분산 추정기의 점근적 정규성과 수렴 속도를 $ε_{\text{∞}}$ 바운드를 사용하여 수립한다.
• 이 바운드를 약간의 요인 모델과 탄탄한 주성분 분석에 적용하여, 실증적으로 더 나은 유한 표본 성능을 보여준다.

실험 결과

연구 질문

• RQ1 기존의 $Ø_{2}$ 기반 결과에 비해 저질서, 비일관성 있는 행렬에 대해 더 날카운 $ε_{\text{∞}}$ 고유벡터 섭동 바운드를 도출할 수 있는가?
• RQ2 향상된 $ε_{\text{∞}}$ 바운드는 첨도가 높은 분포 하에서 유한 표본 성능 향상에 기여하는가?
• RQ3 새로운 바운드를 사용하여 탄탄한 공분산 추정기의 점근적 정규성과 수렴 속도를 수립할 수 있는가?
• RQ4 $ε_{\text{∞}}$ 바운드는 행렬 차원 $d_1$과 $d_2$에 따라 어떻게 스케일링되는가? 고전적인 $Ø_{2}$ 바운드와 비교해보면?
• RQ5 비일관성과 고유값 간격(eigengap)은 새로운 섭동 바운드의 타당성과 날카움을 보장하는 데 어떤 역할을 하는가?

주요 결과

• 저질서 및 비일관성 조건 하에서, $ε_{\text{∞}}$ 특이벡터 섭동 바운드는 고전적인 $Ø_{2}$ 바운드 대비 $\sqrt{d_1}$ 또는 $\sqrt{d_2}$ 요소의 개선을 보인다.
• 이 바운드는 희박성과 노이즈를 반영하기 위해 스케일링된 섭동 측도 $\tau_0$를 사용하여 도출되었으며, 많은 경우에서 스펙트럼 노름과 유사한 수준임을 입증하였다.
• 이 새로운 바운드는 첨도가 높은 분포 하에서 점근적 정규성과 최적 수렴 속도를 달성하는 탄탄한 공분산 추정기의 구축을 가능하게 한다.
• 수치 실험 결과, 제안된 추정기들이 첨도가 높은 데이터 하에서 기존 방법보다 더 뛰어난 성능을 보임을 확인하였다.
• 고유값 간격 $\gamma_0$ 가 0에서 멀리 떨어져 있고 비일관성 $\mu_0$ 가 제어되는 조건 하에서 이 바운드는 날카롭게 유지된다.
• 이 방법은 유한한 비일관성 $\mu(V)$가 요인 하중 $\|B\|_{\max}$ 의 유한성과 동치임을 수립하여, 구조적 가정과 통계적 성질을 연결한다.