[論文レビュー] Polynomial Time and Sample Complexity for Non-Gaussian Component Analysis: Spectral Methods

Tan Yan, Roman Vershynin|arXiv (Cornell University)|Apr 4, 2017

Sparse and Compressive Sensing Techniques被引用数 6

ひとこと要約

本稿では、非ガウス成分分析（NGCA）のための新しいスペクトル法、再重み付けPCAを提案する。この手法により、多項式時間および多項式サンプル複雑性で、データに非ガウス構造を示す低次元部分空間を回復可能となる。本手法は、ノルムと内積の比較を通じた高次元ガウス分布の新たな特徴付けを活用し、弱い条件下でも、理論的に効率的な方法で非ガウス部分空間に少なくとも1つの方向を回復できることを証明する。

ABSTRACT

The problem of Non-Gaussian Component Analysis (NGCA) is about finding a maximal low-dimensional subspace $E$ in $\mathbb{R}^n$ so that data points projected onto $E$ follow a non-gaussian distribution. Although this is an appropriate model for some real world data analysis problems, there has been little progress on this problem over the last decade. In this paper, we attempt to address this state of affairs in two ways. First, we give a new characterization of standard gaussian distributions in high-dimensions, which lead to effective tests for non-gaussianness. Second, we propose a simple algorithm, \emph{Reweighted PCA}, as a method for solving the NGCA problem. We prove that for a general unknown non-gaussian distribution, this algorithm recovers at least one direction in $E$, with sample and time complexity depending polynomially on the dimension of the ambient space. We conjecture that the algorithm actually recovers the entire $E$.

研究の動機と目的

• 非ガウス成分分析（NGCA）における、多項式時間および多項式サンプル複雑性を備えた、理論的に保証された効率的アルゴリズムの長年の欠如に対処すること。
• 信号対雑音比が低い場合でも、非ガウス部分空間を回復できる、単純で効果的なアルゴリズムの開発。
• 径方向および内積モーメント条件に基づく、高次元ガウス分布の新たな理論的特徴付けの提供。
• 提案された再重み付けPCAアルゴリズムが、多項式サンプルおよび時間複雑性で非ガウス部分空間に少なくとも1つの方向を回復できることの証明。

提案手法

• データポイントの非線形関数としての重みを用いた重み付き標本上でPCAを実行する、新しいスペクトル法である再重み付けPCAを提案。
• ガウス分布の新しい特徴付けを用いる：ある確率的ベクトルが標準ガウス分布と同一の径方向分布および同一のペアワイズ内積分布を持つならば、そのベクトル自体もガウス分布である。
• データにホワイトニング変換を適用し、等方性を仮定することで、NGCAモデルを標準形に簡略化。
• モーメントテンソル分解とエネルギー最小化を用いて、ノルムおよび内積統計量を介した非ガウス性の検出の理論的基盤を導出。
• デイビス＝カハンの定理を用いて固有ベクトルの摂動をバウンディングし、スペクトルノルム誤差と部分空間距離を関連付ける。
• サブガウスおよびサブ指数的尾部推定を用いて、重み付きノルムの尾部挙動をバウンディングすることで、アルゴリズムのロバストネスを分析。

実験結果

リサーチクエスチョン

• RQ1 一般の非ガウス分布のもとで、単純なスペクトルアルゴリズムが多項式時間および多項式サンプル複雑性を満たすNGCAを達成できるか？
• RQ2 径方向および内積モーメントに基づく高次元ガウス分布の新しい特徴付けが、非ガウス性検出に有効であるか？
• RQ3 再重み付けPCAは、理論的保証のもとで、非ガウス部分空間に少なくとも1つの方向を回復できるか？
• RQ4 標準PCAが失敗する低信号対雑音比の状況において、アルゴリズムの性能はロバストか？
• RQ5 アルゴリズムは真の非ガウス部分空間Eに収束するのか、それとも関連する部分空間Fにのみ収束するのか？

主な発見

• 提案された再重み付けPCAアルゴリズムは、環境次元nに関して多項式のサンプルおよび時間複雑性を満たし、非ガウス部分空間Eに少なくとも1つの方向を回復する。
• このアルゴリズムは、データ分布がホワイトニングされ、等方的であると仮定する等方的NGCAモデルのもとで達成される。
• ガウス分布の新たな特徴付けが確立された：ある確率的ベクトルが標準ガウス分布と同一の径方向ノルムおよび同一のペアワイズ内積分布を持つならば、そのベクトル自体もガウス分布である。
• 理論的分析により、非ガウス性は、データのノルムまたは内積構造における逸脱を通じて常に検出可能であることが示された。
• この手法は、重い尾部や非楕円的非ガウス成分に対してもロバストである。分析はモーメント条件および尾部バウンディングにのみ依存する。
• 実験的および理論的証拠に基づき、著者らはアルゴリズムが非ガウス部分空間E全体を回復すると予想している。