[論文レビュー] Projection Pursuit for non-Gaussian Independent Components

Joni Virta, Klaus Nordhausen+1 more|arXiv (Cornell University)|Dec 16, 2016

Blind Source Separation Techniques参考文献 3被引用数 14

ひとこと要約

本稿では、3次の累積量の二乗と4次の累積量の二乗の凸結合を射影インデックスとして用いることで、ガウスノイズを含む高次元データから非ガウス性の独立成分を抽出する射影追求法を提案する。定義に基づくおよび対称的推定アプローチの両方を導入し、対称的アプローチが個々の非ガウス成分を抽出する際に定義に基づくアプローチを上回ることを示している。両手法とも信号次元が既知のとき、信号部分空間とノイズ部分空間を効果的に分離する。

ABSTRACT

In independent component analysis it is assumed that the observed random variables are linear combinations of latent, mutually independent random variables called the independent components. Our model further assumes that only the non-Gaussian independent components are of interest, the Gaussian components being treated as noise. In this paper projection pursuit is used to extract the non-Gaussian components and to separate the corresponding signal and noise subspaces. Our choice for the projection index is a convex combination of squared third and fourth cumulants and we estimate the non-Gaussian components either one-by-one (deflation-based approach) or simultaneously (symmetric approach). The properties of both estimates are considered in detail through the corresponding optimization problems, estimating equations, algorithms and asymptotic properties. Various comparisons of the estimates show that the two approaches separate the signal and noise subspaces equally well but the symmetric one is generally better in extracting the individual non-Gaussian components.

研究の動機と目的

• ガウスノイズを含む多次元データから非ガウス性の独立成分を抽出するための頑健な手法を開発すること。
• 独立成分分析（ICA）と非ガウス成分分析（NGCA）の長所を統合し、信号部分空間と個々の成分の両方を推定すること。
• 射影インデックスとして、歪度と尖度の二乗の凸結合を用いることで、成分抽出の精度を向上させること。
• 定義に基づくおよび対称的推定アプローチの性能を、信号部分空間の分離および個々の成分の回復の観点から比較すること。
• 既知の信号次元 d における推定器の漸近的性質および一貫性を確立すること。

提案手法

• 非ガウス方向を検出するために、3次の累積量の二乗と4次の累積量の二乗の凸結合を射影インデックスとして使用する射影追求を用いる。
• 各推定成分を以前のものから直交化することで、逐次的に成分を抽出する定義に基づくアプローチを適用する。
• 射影インデックスの共同最適化により、すべての非ガウス成分を同時に推定する対称的アプローチを採用する。
• モーメント制約の下での累積量に基づくインデックスの最適化に基づき、推定方程式および反復的アルゴリズムを導出する。
• 推定器のアフィン不変性および漸近正規性を確立し、スルツキーの定理および行列微積分を用いて極限分布を導出する。
• クリロネッカー積の恒等式およびブロック対角構造の解析を用いて、重み行列推定器の漸近的共分散を特徴付ける。

実験結果

リサーチクエスチョン

• RQ1 歪度と尖度の二乗の凸結合は、ガウスノイズが存在する中で非ガウス成分を効果的に特定できるか？
• RQ2 定義に基づくアプローチと対称的アプローチは、信号部分空間とノイズ部分空間を分離する点でどのように比較できるか？
• RQ3 非ガウス成分の個々の推定精度において、定義に基づくアプローチと対称的アプローチのどちらが優れているか？
• RQ4 既知の信号次元 d における推定器の漸近的性質は何か？
• RQ5 混合信号と独立したガウスノイズを含む実世界のデータにおいて、この手法はどのように性能を発揮するか？

主な発見

• 対称的アプローチは、定義に基づくアプローチと同程度に信号部分空間とノイズ部分空間を分離できるが、個々の非ガウス成分の抽出において優れている。
• 重み行列推定器の漸近的共分散行列は、ノイズ成分に対して同一のブロックを有するブロック対角構造を示しており、直交変換のもとでの回転不変性を反映している。
• 3次の累積量の二乗と4次の累積量の二乗の凸結合に基づく射影インデックスは、正則性条件の下で非ガウス成分の一貫した推定を保証する。
• 定義に基づく推定器と対称的推定器は、信号部分空間推定において漸近的に同等であるが、逐次的最適化と共同最適化の違いにより、成分ごとの精度に差が生じる。
• 実データ例（ガウスノイズを含む混合画像）において、真の信号成分が混合画像に見えない状況でも、この手法は真の信号成分を効果的に回復した。
• 理論的結果により、推定器の極限分布がノイズ部分空間の直交変換に対して不変であることが確認され、手法の頑健性が裏付けられた。