[論文レビュー] Provable ICA with Unknown Gaussian Noise, and Implications for Gaussian Mixtures and Autoencoders

Sanjeev Arora, Rong Ge+2 more|arXiv (Cornell University)|Jun 23, 2012

Blind Source Separation Techniques参考文献 16被引用数 8

ひとこと要約

この論文は、未知のガウスノイズを伴う独立成分分析（ICA）に対して、多項式時間および標本複雑度で $A$ とノイズ共分散 $\Sigma$ を $\ceil\epsilon$ の誤差で確実に回復する、証明可能に効率的なアルゴリズムを提示する。新規の「準ホワイトニング」ステップと、反復的局所探索によるすべての局所最適解を特定するフレームワークを導入し、ノイズ共分散が未知であっても回復が安定するようにしている。

ABSTRACT

We present a new algorithm for Independent Component Analysis (ICA) which has provable performance guarantees. In particular, suppose we are given samples of the form $y = Ax + η$ where $A$ is an unknown $n imes n$ matrix and $x$ is a random variable whose components are independent and have a fourth moment strictly less than that of a standard Gaussian random variable and $η$ is an $n$-dimensional Gaussian random variable with unknown covariance $Σ$: We give an algorithm that provable recovers $A$ and $Σ$ up to an additive $ε$ and whose running time and sample complexity are polynomial in $n$ and $1 / ε$. To accomplish this, we introduce a novel "quasi-whitening" step that may be useful in other contexts in which the covariance of Gaussian noise is not known in advance. We also give a general framework for finding all local optima of a function (given an oracle for approximately finding just one) and this is a crucial step in our algorithm, one that has been overlooked in previous attempts, and allows us to control the accumulation of error when we find the columns of $A$ one by one via local search.

研究の動機と目的

• 未知のガウスノイズを伴うICAに対して、証明可能に効率的なアルゴリズムを開発すること。ここでノイズ共分散 $\Sigma$ は事前に不明である。
• 既存のICA手法が未知のノイズに対して失敗するか、高次モーメントに関する強い仮定を必要とすることのギャップを埋めること。
• 標本 $y = Ax + \eta$ から、混合行列 $A$ とノイズ共分散 $\Sigma$ を多項式時間で回復できることを保証すること。ただし $x$ はサブガウス型の四次モーメントを持つものとする。
• 指数的多数の成分を持つガウス・ミックスチャネル・モデル（GMM）の学習の理論的基盤を提供すること。また、RBM などの深層オートエンコーダーの分析にも寄与すること。
• 局所探索法を反復的に用いて成分を1つずつ回復する際、その手法が厳密に解析可能で制御可能であることを示すこと。

提案手法

• ノイズの逆共分散を $\Sigma$ の事前知識なしに推定する新規な「準ホワイトニング」手順を導入し、ICA の前処理を可能にする。
• 単一の最適化オракルを用いて関数のすべての局所最適解を特定する一般化されたフレームワークを開発し、逐次的成分回復における誤差蓄積を制御する上で不可欠である。
• 高次積モーメントと四次統計量を用いて、非ガウス性の方向を特定することで、$A$ の構造を推定する。
• 局所探索を用いて $A$ の各列を逐次的に回復し、適切に設計された目的関数により、符号および順序の違いを除いて正しい成分に収束することを保証する。
• 成分のスケーリングを符号する行列 $D_A(u)$ を、データの標本モーメントから推定することで、$A$ の回転およびスケーリングの誤差を許容した回復を可能にする。
• 標本に基づく $\mathop{\bf E}[yy^T]$ の推定値を用いて $\widehat{C}$ を計算し、その後 $\widehat{A}\widehat{A}^T$ を差し引いて $\widehat{\Sigma}$ を推定することで、$\ell_2$-誤差バウンドを保証する。

実験結果

リサーチクエスチョン

• RQ1 ノイズ共分散 $\Sigma$ が未知であり、ガウス分布に従う場合に、ICA を証明可能かつ保証された性能で解けるか？
• RQ2 誤差蓄積を回避できる、局所探索に基づくICAアルゴリズムを設計することは可能か？
• RQ3 各成分の平均が未知で共通の共分散を持つ、$2^n$ 個の成分を持つGMMを、コンactパラメトリック記述を用いて効率的に学習できるか？
• RQ4 スパースで独立な成分を持つ生成モデルの下で、RBM などの深層オートエンコーダーの性能を厳密に解析できるか？
• RQ5 単一の最適化オラクルのみを用いて、関数のすべての局所最適解を特定する一般化されたフレームワークを開発できるか？

主な発見

• アルゴリズムは、$\Sigma$ が未知であっても、$\mathop{\mathrm{poly}}(n, 1/\epsilon)$ 時間および標本複雑度で $A$ と $\Sigma$ を $\epsilon$-誤差で回復する。
• 準ホワイトニングステップにより、ノイズ共分散の事前知識なしに効果的な前処理が可能となり、実世界のICAアプリケーションにおいて重要な革新である。
• 反復的局所探索によるすべての局所最適解を特定するフレームワークにより、誤差蓄積が制限され、従来のICA手法に見られる重大な見落としを解消した。
• $A$ の回復誤差は、$\gamma$ が成分回復の精度を制御するパラメータとして、$O(\gamma \|A\|_2^2 n^{3/2} / \lambda_{\min}(A))$ で有界である。
• $\gamma$ が $\|A\|_2$、$n$、$\lambda_{\min}(A)$ に対して適切に選ばれれば、$\Sigma$ の誤差は $\epsilon$ で有界である。
• 本手法により、各成分の平均が未知で共通の共分散を持つ $2^n$ 個のGMMを、たった $O(n^2)$ パラメータで効率的に学習可能である。