[論文レビュー] PAC-Bayesian bounds for Principal Component Analysis in Hilbert spaces

Ilaria Giulini|arXiv (Cornell University)|Nov 19, 2015

Sparse and Compressive Sensing Techniques参考文献 8被引用数 7

ひとこと要約

本稿は、ヒルバート空間におけるロバストな主成分分析（PCA）のためのPAC-BayesianPAC-Bayesian境界を導入する。これは、グラム行列のロバスト推定を用いており、リプシッツ連続関数による滑らかなスペクトルカットオフを採用することで、スペクトルの大きな固有値ギャップを必要とせず、作用素ノルムおよびフロベニウスノルムにおいて次元に依存しない誤差境界を達成する。

ABSTRACT

Based on some new robust estimators of the covariance matrix, we propose stable versions of Principal Component Analysis (PCA) and we qualify it independently of the dimension of the ambient space. We first provide a robust estimator of the orthogonal projector on the largest eigenvectors of the covariance matrix. The behavior of such an estimator is related to the size of the gap in the spectrum of the covariance matrix and in particular a large gap is needed in order to get a good approximation. To avoid the assumption of a large eigengap in the spectrum of the covariance matrix we propose a robust version of PCA that consists in performing a smooth cut-off of the spectrum via a Lipschitz function. We provide bounds on the approximation error in terms of the operator norm and of the Frobenius norm.

研究の動機と目的

• 環境次元に依存しない安定的でロバストなPCAの開発。特に、高次元または無限次元のヒルバート空間において有効であるようにすること。
• 古典的PCAおよびロバスト推定器が、共分散作用素のスペクトルに大きな固有値ギャップを必要としているという制限を克服すること。
• PAC-Bayesian手法を用いて、スペクトルプロジェクタの近似誤差に対する非漸近的かつ次元に依存しない境界を提供すること。
• ヒルバート空間作用素の性質とロバストなグラム行列推定を活用することで、ロバストPCAを無限次元設定に拡張すること。
• 固有値ギャップの大きさに依存するのではなく、滑らかなカットオフ関数のリプシッツ定数に依存するようにすることで、より広範な適用可能性を実現すること。

提案手法

• PAC-Bayesian枠組みを用いて二次形式の信頼領域を構築し、これにより経験的データに基づくグラム行列のロバスト推定器を導出する。
• 幾何的中央値に類似した原理を用いて共分散作用素（グラム行列）のロバスト推定を実現し、重い尾を持つ分布に対しても安定性を確保する。
• 1-リプシッツ連続関数を用いた滑らかなスペクトルカットオフを提案し、固有値の鋭いしきい値処理に代えることで、大きな固有値ギャップに依存しなくなるようにする。
• カットオフ関数のリプシッツ定数を用いて、作用素ノルムおよびフロベニウスノルムにおけるスペクトルプロジェクタの近似誤差の境界を導出する。
• 直交プロジェクタの分解技術とヒルバート空間におけるスペクトル解析を用いて、真のプロジェクタと推定されたプロジェクタの差を特徴付ける。
• 集中不等式とPAC-Bayesian推定器のロバスト性の性質を活用することで、次元に依存しない誤差境界を確立する。

実験結果

リサーチクエスチョン

• RQ1 ロバストPCAは、特に無限次元のヒルバート空間において、環境次元に依存しない形で定式化可能だろうか？
• RQ2 スペクトルにおける大きな固有値ギャップに依存しないロバストPCAを構築するには、どのようにすればよいだろうか？ また、その際、タイトな誤差境界を維持できるか？
• RQ3 スペクトルカットオフ関数のリプシッツ定数と、PCAにおける結果の近似誤差の関係は何か？
• RQ4 PAC-Bayesian不等式は、高次元または関数的設定におけるスペクトルプロジェクタに対して、非漸近的かつ次元に依存しない境界を効果的に導出できるか？
• RQ5 グラム行列のロバスト推定器は、重い尾を持つまたは汚染されたデータ分布下でもPCAの安定性をどのように向上させるか？

主な発見

• グラム行列のロバスト推定器により、2階モーメントが存在する限りの条件下で、重い尾を持つデータに対しても固有値および固有ベクトルの安定的推定が可能になる。
• 滑らかなカットオフを用いた提案されたロバストPCAでは、作用素ノルムにおける誤差境界がカットオフ関数のリプシッツ定数に逆比例してスケーリングされ、大きな固有値ギャップの必要性が不要になる。
• フロベニウスノルムにおいては、同じリプシッツ定数と固有値の減衰度に依存した誤差境界が得られ、次元に依存しない誤差制御が実現される。
• 本手法は可分なヒルバート空間に一般化可能であり、非漸近的かつ次元に依存しない保証を持つロバストカーネルPCAを可能にする。
• スペクトル分解と直交プロジェクタの解析を用いて理論的境界を導出し、真のプロジェクタと推定されたプロジェクタの差が、スペクトルギャップとリプシッツ連続性によって制御されることを示した。
• 結果は非漸近的であり、有限の標本サイズに対しても成り立つため、高次元または関数的データ解析における実用的実装に適している。