[論文レビュー] Learning Independent Features with Adversarial Nets for Non-linear ICA

Philémon Brakel, Yoshua Bengio|arXiv (Cornell University)|Oct 13, 2017

Blind Source Separation Techniques参考文献 18被引用数 51

ひとこと要約

本論文は Adversarial Non-linear ICA（ANICA）を提案し、GANベースの目的を用いて線形および非線形 ICA の統計的に独立な特徴を学習する。再サンプリングまたは別個の限界生成器を介して、合成データおよび音声混合で実証。

ABSTRACT

Reliable measures of statistical dependence could be useful tools for learning independent features and performing tasks like source separation using Independent Component Analysis (ICA). Unfortunately, many of such measures, like the mutual information, are hard to estimate and optimize directly. We propose to learn independent features with adversarial objectives which optimize such measures implicitly. These objectives compare samples from the joint distribution and the product of the marginals without the need to compute any probability densities. We also propose two methods for obtaining samples from the product of the marginals using either a simple resampling trick or a separate parametric distribution. Our experiments show that this strategy can easily be applied to different types of model architectures and solve both linear and non-linear ICA problems.

研究の動機と目的

• 独立成分を学習する際の mutual information の推定が難しい場合の課題を動機付け、整理する。
• learned features 間の依存関係を暗黙的に最小化するための adversarial フレームワークを提案する。
• Encoder-Decoder アーキテクチャと識別子を組み合わせて、独立性を保ちつつ入力情報を保持する。
• 線形および非線形ICA タスク全般、音源分離を含む適用可能性を示す。
• marginals の積の実用的なサンプリング戦略を提供し、トレーニングダイナミクスを検討する。

提案手法

• 潜在特徴 Z の結合分布と周辺積の積との間の発散を識別器を介して最小化する GAN 風の学習を用いる。
• 再サンプリングによる joint サンプルから周辺分布の積を得るか、別個の周辺ジェネレーター・ネットワークを訓練して周辺の積サンプルを得る。
• 再構成性と潜在コード（F および V）の情報量を保証するため、デコーダを備えたオートエンコーダー設定を組み込む。
• 識別器へ入力する前に潜在特徴を正規化してトレーニングを安定化させ、退化解を回避する。
• encoder F と decoder V を介してデータ X から相互に独立な成分を学習し、補助識別子 D を用いて非線形 ICA にフレームワークを適用する。
• 線形、ポスト非線形、過剰決定的非線形混合に対して、FastICA および MISEP のベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 GAN ベースの目的は密度推定なしに独立性指標（例： mutual information）を近似できるのか（ICA 設定で）？
• RQ2 オートエンコーダ再構成と組み合わせた GAN ベースの目的は、線形・非線形双方の ICA 問題で独立成分の学習を可能にするのか？
• RQ3 再サンプリングと別個の周辺ジェネレーターは、このフレームワークで周辺の積サンプルを生成する際にどう比較されるのか？
• RQ4 提案する ANICA モデルは、異なるアーキテクチャやデータタイプ（合成信号と音声）の源分離に対して有効か？
• RQ5 adversarial ICA の実用的なトレーニングとモデル選択の考慮事項は何か？

主な発見

Method	Linear	PNL	MLP
Anica	.9987(6.5)/.9994(1.4)	.9794(53)/.9877(7.9)	.9667(325)/.9831(16)
Anica-g	.9996(1.2)/.9996(1.2)	.7098(724)/.9802(47)	.9770(33)/.9856(10.8)
PNLMISEP	-	.9920(24)	-
FastICA	.9998	.8327	.9173
Mixed	.5278	.6174	-

• 敵対的目的は独立性を効果的に促進し、線形および非線形 ICA のタスクを解くことができる。
• 再サンプリングベースの ANICA は、合成の線形および非線形混合において高い相関を達成した（例：Anica: Linear 0.9987, PNL 0.9794, MLP 0.9667）。
• Anica-g（別個の周辺生成器）は線形タスクで良好に機能したが、非線形タスクではハイパーパラメータ調整に依存して変動を示した。
• 音声データでは、線形 ICA が高精度と一致し、PNL タスクは MISEP のようなベースラインより再サンプリング ANICA を好む。
• PNLMISEP はポスト非線形混合の強力なベースラインとして依然優れた位置を占め、FastICA は一部の線形ケースで依然競合的。
• 安定性（シード間の標準偏差）によるモデル選択は、分離性能を評価する際の平均目的値よりも信頼性が高かった。