[論文レビュー] Overcomplete Independent Component Analysis via SDP

Anastasia Podosinnikova, Amelia Perry+4 more|arXiv (Cornell University)|Jan 24, 2019

Blind Source Separation Techniques参考文献 36被引用数 8

ひとこと要約

本稿では、源数 $k$ が観測次元 $p$ を超える過超過独立成分分析（ICA）のための新規アルゴリズム OverICA を提案する。この手法は、尖度生成関数のヘッセ行列を推定し、半正定値計画法（SDP）の緩和を用いる。投影加速勾配降下法により最適化を実行し、ランダムな源の仮定のもとで $k < (2 - \varepsilon)p\log p$ の条件下で、高確率で混合成分を回復可能である。また、合成データおよびCIFAR-10データにおいて実用的な性能を示している。

ABSTRACT

We present a novel algorithm for overcomplete independent components analysis (ICA), where the number of latent sources k exceeds the dimension p of observed variables. Previous algorithms either suffer from high computational complexity or make strong assumptions about the form of the mixing matrix. Our algorithm does not make any sparsity assumption yet enjoys favorable computational and theoretical properties. Our algorithm consists of two main steps: (a) estimation of the Hessians of the cumulant generating function (as opposed to the fourth and higher order cumulants used by most algorithms) and (b) a novel semi-definite programming (SDP) relaxation for recovering a mixing component. We show that this relaxation can be efficiently solved with a projected accelerated gradient descent method, which makes the whole algorithm computationally practical. Moreover, we conjecture that the proposed program recovers a mixing component at the rate k &lt; p^2/4 and prove that a mixing component can be recovered with high probability when k &lt; (2 - epsilon) p log p when the original components are sampled uniformly at random on the hyper sphere. Experiments are provided on synthetic data and the CIFAR-10 dataset of real images.

研究の動機と目的

• 過超過ICA（$k > p$）の課題に取り組むこと。特に、スパarsity仮定が存在しない状況での対応。
• 過超過ICAにおける混合行列 $D$ を回復するための計算効率が良く、理論的裏付けのあるアルゴリズムの開発。
• 理論的保証が強いアルゴリズムと実用的な計算可能性の両立を図ること。
• スパarsityや混合行列の特定のパラメトリック形式に依存しない手法の提供。

提案手法

• 高次モーメントに依存するのではなく、尖度生成関数のヘッセ行列を主要統計量として推定する。
• 個々の混合成分を回復するための新規な半正定値計画法（SDP）緩和を定式化する。
• 計算効率を高めるために、SDPを投影加速勾配降下法で解く。
• 最初のステップの入力として一般化された共分散または4次尖度を用い、OverICAでは $s = 10k$ を使用する。
• スパarsityや特定の源分布を仮定せず、源の独立性および非正規性を活用する。
• 性能の妥当性を検証するため、合成データおよびCIFAR-10の実画像に本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 スパarsity仮定が存在しない状況で、実用的かつ理論的裏付けのあるアルゴリズムが過超過ICAにおける混合行列を回復できるか？
• RQ2 提案されたSDPベースの手法の理論的回復閾値は、$k$ と $p$ の観点でどの程度か？
• RQ3 FOOBI やフーリエPCAといった既存手法と比較して、本手法の精度および実行時間の性能はいかがなっているか？
• RQ4 源が超球面上で一様にランダムに抽出された場合、混合成分の高確率回復が達成可能か？

主な発見

• 源が超球面上で一様にランダムに抽出された場合、$k < (2 - \varepsilon)p\log p$ の条件下で、提案されたSDP緩和は混合成分を高確率で回復する。
• 予想に基づくと、$k < p^2/4$ のレートで回復が達成可能であり、理論的スケーラビリティが顕著に高い。
• 実験的結果から、OverICAはFOOBIと同等のf-およびa-誤差を達成し、合成データにおいては著しく優れた実行時間性能を示している。
• CIFAR-10では、OverICAは意味のある特徴を効果的に回復しており、実世界の画像データにおける実用的有用性を示している。
• OverICAの実行時間は主に最初のステップ（ヘッセ行列または尖度推定）に依存するが、FISTAを用いた効率的なSDP解法のおかげで、全体として実用的である。
• 正規化された回復ベクトルは、複数回の実行において一貫した成分回復を示しており、$k$ が小さい場合には高い正確性を示し、$k$ が増加するに従い徐々に低下する。