[論文レビュー] An $\ell_{\infty}$ Eigenvector Perturbation Bound and Its Application to Robust Covariance Estimation

Jianqing Fan, Wei-Chen Wang+1 more|arXiv (Cornell University)|Mar 11, 2016

Sparse and Compressive Sensing Techniques参考文献 43被引用数 17

ひとこと要約

本稿は、低ランクかつ非一様性を満たす行列に対して、従来の $Ø_{2}$ 界よりも $√{d_1}$ または $√{d_2}$ の改善が得られる新しい $ε_{ ext{∞}}$ 固有ベクトル摂動界を確立する。この結果により、重い尾を持つ分布下でのよりタイトなロバスト共分散推定が可能となり、漸近的性質が向上した新しい推定器が得られ、シミュレーションでも良好な有限標本性能を示す。

ABSTRACT

In statistics and machine learning, people are often interested in the eigenvectors (or singular vectors) of certain matrices (e.g. covariance matrices, data matrices, etc). However, those matrices are usually perturbed by noises or statistical errors, either from random sampling or structural patterns. One usually employs Davis-Kahan $\sin θ$ theorem to bound the difference between the eigenvectors of a matrix $A$ and those of a perturbed matrix $\widetilde{A} = A + E$, in terms of $\ell_2$ norm. In this paper, we prove that when $A$ is a low-rank and incoherent matrix, the $\ell_{\infty}$ norm perturbation bound of singular vectors (or eigenvectors in the symmetric case) is smaller by a factor of $\sqrt{d_1}$ or $\sqrt{d_2}$ for left and right vectors, where $d_1$ and $d_2$ are the matrix dimensions. The power of this new perturbation result is shown in robust covariance estimation, particularly when random variables have heavy tails. There, we propose new robust covariance estimators and establish their asymptotic properties using the newly developed perturbation bound. Our theoretical results are verified through extensive numerical experiments.

研究の動機と目的

• 既存の固有ベクトル摂動界が $Ø_{2}$ ノルムに依存するという限界を解消すること。これは、高次元かつ低ランクの行列問題において最適でない可能性がある。
• 低ランクかつ非一様性を満たす行列の特異ベクトルについて、$ε_{\text{∞}}$ ノルムにおけるよりタイトな摂動界を確立すること。
• 重い尾を持つ分布下で古典的手法が失敗する状況において、新しい界を用いてロバスト共分散推定を応用すること。
• 漸近的性質と実験的性能の両方が向上した新しいロバスト共分散推定器を提案すること。

提案手法

• 低ランクおよび非一様性の仮定の下で、特異ベクトルの新しい $ε_{\text{∞}}$ 採動界を導出する。これにより、標準的な $Ø_{2}$ 界と比較して $√{d_1}$ または $√{d_2}$ の要因による改善が得られる。
• 行列分解におけるスパarsityとノイズを捉えるために、$\tau_0 = \max\{\sqrt{d_2/d_1}\|E\|_1, \sqrt{d_1/d_2}\|E\|_\infty\}$ というスケーリングされた摂動測度を定義する。
• 行列摂動理論とスペクトルノルム解析を用いて、真の特異ベクトルと摂動後の特異ベクトルとの差を $ε_{\text{∞}}$ ノルムで界づける。
• 新しいロバスト共分散推定器の漸近的正規性と収束速度を、$ε_{\text{∞}}$ 界を用いて確立する。
• 界を近似因子モデルおよびロバストPCAに応用し、有限標本性能の向上を示す。

実験結果

リサーチクエスチョン

• RQ1 低ランクかつ非一様性を満たす行列について、既存の $Ø_{2}$ に基づく結果と比較して、よりタイトな $ε_{\text{∞}}$ 固有ベクトル摂動界を導出できるか？
• RQ2 改善された $ε_{\text{∞}}$ 界は、重い尾を持つ分布下でのロバスト共分散推定において、有限標本性能を向上させるか？
• RQ3 新しい界を用いて、ロバスト共分散推定器の漸近的正規性と収束速度を確立できるか？
• RQ4 $ε_{\text{∞}}$ 界は、行列の次元 $d_1$ および $d_2$ に対して、古典的 $Ø_{2}$ 界と比べてどのようにスケーリングされるか？
• RQ5 非一様性および固有ギャップは、新しい摂動界の有効性とタイトさを保証するために果たす役割は何か？

主な発見

• 低ランクおよび非一様性の仮定の下で、$ε_{\text{∞}}$ 採動界は、古典的な $Ø_{2}$ 界と比較して $\sqrt{d_1}$ または $\sqrt{d_2}$ の要因で改善される。
• スパarsityとノイズを考慮するためのスケーリングされた摂動測度 $\tau_0$ を用いて界を導出し、多くの場合でスペクトルノルムと同等の性能を示すことが示された。
• 新しい界により、重い尾を持つ分布下で漸近的正規性と最適な収束速度を達成するロバスト共分散推定器の構築が可能になった。
• 数値実験により、提案された推定器が、特に重い尾を持つデータにおいて、古典的手法を上回る有限標本性能を示すことが確認された。
• 固有ギャップ $\gamma_0$ がゼロから離れており、非一様性 $\mu_0$ が制御されている条件下で、界はタイトである。
• 本手法により、因子負荷の有界性 $\|B\|_{\max}$ と非一様性 $\mu(V)$ の有界性が同値であることが示され、構造的仮定と統計的性質の間の関係が明確にされた。