[論文レビュー] ALICE: Towards Understanding Adversarial Learning for Joint Distribution Matching

Chunyuan Li, Hao Liu+5 more|arXiv (Cornell University)|Sep 5, 2017

Speech Recognition and Synthesis被引用数 75

ひとこと要約

ALICEは条件付きエントロピーを用いてALIを正則化し、結合分布の同定不能性を解消することで安定性と再構成を向上させ、半教師あり学習へ拡張する。

ABSTRACT

We investigate the non-identifiability issues associated with bidirectional adversarial training for joint distribution matching. Within a framework of conditional entropy, we propose both adversarial and non-adversarial approaches to learn desirable matched joint distributions for unsupervised and supervised tasks. We unify a broad family of adversarial models as joint distribution matching problems. Our approach stabilizes learning of unsupervised bidirectional adversarial learning methods. Further, we introduce an extension for semi-supervised learning tasks. Theoretical results are validated in synthetic data and real-world applications.

研究の動機と目的

• 結合分布の一致のための双方向 adversarial training (ALI) における同定不能性に対処する。
• xとzの写像を制約するための正則化項として条件付きエントロピーを導入する。
• 結合分布一致の下でALI、CycleGAN、そしてConditional GANを統一的に結びつける視点を提供する。
• ALICE内で無監督、半教師あり、監視付き学習の定式化を開発する。
• 合成データと実データの両方で訓練の安定性と再構成品質の向上を示す。

提案手法

• 潜在変数zとノイズ入力を用いて、二つの条件付き生成モデルとしてサンプルをモデル化する：x ~ p_theta(x|z) および z ~ q_phi(z|x)。
• 結合分布 pi(x,z) を制約するため、条件付きエントロピー項でALI目的関数を正則化する。
• 条件付きエントロピーの上限としてサイクル整合性を用い、再構成を課すためにサイクル整合損失と完全に敵対的なサイクル損失の両方を提案する。
• 無監督、半監督、監視付きの学習バリアントを提供し、完全に敵対的なサイクル整合損失（L_Cycle^A）と条件GANベースの写像損失（L_Map^A）を含む。
• サイクル整合性が成り立つと、写像は決定論的になり、条件付き分布が一致することを示す（ KLとCEの関係を介して）。
• L_Map を介して小規模なペア付きデータを活用する半教師付き拡張と、x|z の条件付きGAN判別器をオプションとして提供する。）

実験結果

リサーチクエスチョン

• RQ1 有意義な x–z mappings を達成するために、ALI の同定可能性の問題をどのように緩和できるか。
• RQ2 条件付きエントロピーを正則化項として導入することで、ALIと比較してより安定した訓練と忠実な再構成が得られるか。
• RQ3 ALICE は既存の結合分布一致モデル（ALI、CycleGAN、Conditional GAN）を単一のフレームワークで統一・拡張できるか。
• RQ4 サイクル整合性を効果的に組み込み、ぼやけた再構成を生まずに生成と再構成を改善するにはどうすればよいか。
• RQ5 ペア付きデータを用いたクロスドメインタスクにおけるALICEの半教師付き学習の利点は何か。

主な発見

• ALICEは合成データに対して、広範なハイパparameterとアーキテクチャのグリッドに渡ってALIより安定した訓練を提供する。
• ALICEはALIよりも忠実な画像再構成と潜在空間構造を実現し、再構成と生成指標の改善で証拠づけられる。
• toyデータでは、ALICEのInception Scoreが実験の77%で4.5を超え、ALIよりも一貫性が高い。
• サイクル整合性正則化は条件付きエントロピーを上限づけ、写像をより決定論的で同定可能な関係へ導く。
• 半教師付き拡張はペア付きデータを活用して正しい x–z 関係をより強く課し、クロスドメイン写像を改善する。
• 実データ（車両やエッジ→靴への翻訳）での実験は、画像間タスク（再構成と生成）におけるALICEの実用的な利点を示している。