[論文レビュー] Gaussian mixture models with Wasserstein distance

Benoit Gaujac, Ilya Feige+1 more|arXiv (Cornell University)|Jun 12, 2018

Generative Adversarial Networks and Image Synthesis参考文献 26被引用数 7

ひとこと要約

本稿では、離散的および連続的潜在変数を併用する生成モデルを訓練するために、 Wasserstein 距離を用いた最適輸送（Optimal Transport）を適用するガウス・ミックスチャ・ワーサーテイン・オートエンコーダー（GM-WAEs）を提案する。この手法は、目的関数やハイパーパrameterの変更なしにMNIST上でモデルを効果的に学習でき、高い離散的潜在変数の忠実度（76%の正確性）と意味のあるサンプル生成を達成した。

ABSTRACT

Generative models with both discrete and continuous latent variables are highly motivated by the structure of many real-world data sets. They present, however, subtleties in training often manifesting in the discrete latent being under leveraged. In this paper, we show that such models are more amenable to training when using the Optimal Transport framework of Wasserstein Autoencoders. We find our discrete latent variable to be fully leveraged by the model when trained, without any modifications to the objective function or significant fine tuning. Our model generates comparable samples to other approaches while using relatively simple neural networks, since the discrete latent variable carries much of the descriptive burden. Furthermore, the discrete latent provides significant control over generation.

研究の動機と目的

• 離散的および連続的潜在変数を併用する生成モデルの訓練に取り組むこと、特に標準的なVAEsでは離散的成分が十分に活用されない状況を扱う。
• 特に教師なし設定において、ガウス・ミックスチャ・潜在変数モデル（GM-LVMs）の訓練に際して、変分オートエンコーダー（VAEs）の不安定さや収束不良を克服すること。
• 最適輸送フレームワーク、特にワーサーテイン・オートエンコーダー（WAE）の目的関数が、従来のVAEsに比べてGM-LVMsの訓練をより効果的に行えることを示すこと。
• アーキテクチャ的・目的関数的変更なしに、離散的潜在変数が完全に活用されることを示し、生成の制御性と再構成忠実度の向上を実現すること。

提案手法

• 連続的潜在変数上のガウス混合分布としてデータ分布をモデル化し、混合成分を制御する離散的カテゴリカルな潜在変数を導入する階層的生成モデルを定式化する。
• 真のデータ分布とモデルが生成する分布の間の最適輸送（Wasserstein）距離を最小化するため、ワーサーテイン・オートエンコーダー（WAE）フレームワークを用いる。
• 変分事後分布 $ q_{D}(k|x) $ および $ q_{C}(z|k,x) $ を用いてモデルを学習し、WAEの分布マッチング損失に基づく目的関数を採用する。
• Wasserstein距離が誘導する弱い位相構造を活用することで、変分事後分布と事前分布の間の整合性を高め、学習を安定化させる。
• 連続的潜在空間の可視化のためにUMAP次元削減を適用し、クラスタ構造および事前分布との整合性を評価する。
• 離散的潜在変数の忠実度を評価するため、各離散的潜在変数 $ k $ を、その平均事後確率が最も高い数字クラスに割り当てる単純なラベル割り当てプロトコルを用い、テストセット上で分類正確性を計算する。

実験結果

リサーチクエスチョン

• RQ1 VAEsが通常失敗する教師なし設定において、ワーサーテイン・オートエンコーダー（WAE）フレームワークがガウス・ミックスチャ・潜在変数モデル（GM-LVMs）を効果的に学習できるか？
• RQ2 VAEの目的関数に代えて最適輸送を用いることで、GM-LVMsにおける離散的潜在変数の活用度が向上するか？
• RQ3 監視なし・目的関数の変更なしに、GM-WAEの離散的潜在変数がどの程度意味のある、クラス固有の表現を学習できるか？
• RQ4 標準的なVAEsやGANsと比較して、GM-WAEモデルの連続的および離散的潜在変数は、データ再構成およびリアルなサンプル生成においてどの程度優れた性能を示すか？

主な発見

• GM-WAEモデルは、目的関数の変更や顕著なハイパーパrameterチューニングなしに、教師なし設定でMNISTを効果的に学習できた。
• 離散的潜在変数はモデルによって完全に活用されており、テストセットで76%の数字クラス割り当て正確性を達成し、基本的なK-meansクラスタリング（50–60%）を著しく上回った。
• 事前分布から高品質でリアルなサンプルが生成され、潜在空間に明確な分離構造と意味のある構造が実現していることが示された。
• UMAPを用いた可視化により、連続的潜在変数 $ z $ が数字クラスに対応する明確で重複するクラスタを形成しており、変分事後分布と事前分布との強い整合性が確認された。
• 離散的変分事後分布 $ q_{D}(k|x) $ は、異なる数字クラスを異なる離散的潜在成分に割り当てることを学習したが、一部の重複（例：9が $ k=0,4,9 $ に割り当てられる）も見られ、数字の筆跡の自然なばらつきを反映していた。
• 変分事後分布と事前分布との距離が近く保たれており、WAE目的関数による分布マッチングの有効性と、安定した学習が実現していることが示された。