[論文レビュー] Primal-Dual Wasserstein GAN

Mevlana Gemici, Zeynep Akata+1 more|arXiv (Cornell University)|May 24, 2018

Medical Imaging Techniques and Applications参考文献 13被引用数 11

ひとこと要約

本稿では、柔軟な推論機構の学習に用いるプライマル最適輸送問題と、コーチネットワークの adversarial 訓練に用いるデュアル定式化を統合する、新しい生成モデルフレームワークである Primal-Dual Wasserstein GAN (PD-WGAN) を提案する。プライマルからの近似結合を用いてコーチの勾配のノルムと方向を正則化することで、CIFAR-10、CUB Birds、Oxford Flowers データセットにおいて、FID とインセプションスコアの両面で WGAN-GP や WAE-GAN を上回る優れたモードカバレッジとサンプル品質を達成する。

ABSTRACT

We introduce Primal-Dual Wasserstein GAN, a new learning algorithm for building latent variable models of the data distribution based on the primal and the dual formulations of the optimal transport (OT) problem. We utilize the primal formulation to learn a flexible inference mechanism and to create an optimal approximate coupling between the data distribution and the generative model. In order to learn the generative model, we use the dual formulation and train the decoder adversarially through a critic network that is regularized by the approximate coupling obtained from the primal. Unlike previous methods that violate various properties of the optimal critic, we regularize the norm and the direction of the gradients of the critic function. Our model shares many of the desirable properties of auto-encoding models in terms of mode coverage and latent structure, while avoiding their undesirable averaging properties, e.g. their inability to capture sharp visual features when modeling real images. We compare our algorithm with several other generative modeling techniques that utilize Wasserstein distances on Frechet Inception Distance (FID) and Inception Scores (IS).

研究の動機と目的

• 変分オートエンコーダー（VAE）の限界、特に事後分布の近似と平均化効果によるぼやけたサンプルの問題を解消するため、オートエンコーディングと GAN ベースの学習の長所を統合すること。
• 標準 GAN における不安定性と理論的根拠の欠如を解消するため、最適輸送フレームワークを活用すること。
• 最適輸送のプライマルおよびデュアル定式化を用いて、同時に高品質な生成モデルと正確な推論機構を学習する統一された訓練アルゴリズムを開発すること。
• プライマル問題からの近似結合を用いて、コーチネットワークの勾配ノルムだけでなく方向に対しても正則化することで、サンプル品質とモードカバレッジを向上させること。

提案手法

• 本手法は、データ分布と生成器分布の間の近似結合 π̃* を学習するためのプライマル最適輸送定式化を用い、これがコーチネットワークのガイドとして機能する。
• デュアル定式化を用いて、近似結合 π̃* の勾配のノルムと方向によって正則化されたコーチネットワークを介して生成器を adversarial に訓練する。
• ハイブリッド損失関数は、プライマル結合に基づく再構成項（λmix）と、コーチの勾配方向および大きさの逸脱をペナルティ化する勾配正則化項（λf）を組み合わせる。
• コーチネットワークは、近似結合 π̃* の輸送方向に一致する単位ノルム勾配を強制するベクトル勾配ペナルティを用いて訓練され、一般化性能と安定性が向上する。
• エンコーダーは、プライマル結合を用いてデータポイントを潜在コードにマッピングするよう訓練され、正確な再構成と構造的潜在多様体が実現される。
• 再構成忠実度、モードカバレッジ、サンプル品質のバランスをハイパーパrameter λmix と λf を用いて調整する微分可能な目的関数を用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 プライマルおよびデュアル最適輸送定式化を統合した統一フレームワークは、生成モデルにおけるサンプル品質とモードカバレッジの両面を向上させ得るか？
• RQ2 プライマル問題からの近似結合を用いてコーチの勾配方向とノルムを正則化することで、標準的な勾配ノルムペナルティに比べ、より安定的かつ一般化可能な訓練が達成可能か？
• RQ3 提案手法は、再構成精度と構造的潜在空間を維持したまま、WGAN-GP や WAE-GAN を上回る FID とインセプションスコアを達成可能か？
• RQ4 再構成忠実度（λmix）とコーチ正則化（λf）のトレードオフは、サンプル品質とモードカバレッジのバランスにどのように影響を与えるか？

主な発見

• CIFAR-10 において PD-WGAN は FID 33.0 を達成し、WGAN-GP（34.4）と WAE-GAN（87.7）を上回り、優れたサンプル品質を示した。
• CIFAR-10 において PD-WGAN はインセプションスコア 6.70 ± 0.09 を達成し、WGAN-GP（6.58 ± 0.06）と WAE-GAN（4.18 ± 0.04）を上回った。
• CUB Birds において PD-WGAN は FID 68.6、インセプションスコア 4.65 ± 0.04 を達成し、WGAN-GP（70.4 と 4.51 ± 0.04）と WAE-GAN（143.3 と 3.42 ± 0.04）を上回った。
• Oxford Flowers において PD-WGAN は FID 84.9、インセプションスコア 3.75 ± 0.04 を達成し、WGAN-GP（98.7 と 3.42 ± 0.04）と WAE-GAN（145.9 と 2.30 ± 0.01）を顕著に上回った。
• 付録 F の可視化比較では、PD-WGAN は WGAN-GP や WAE-GAN よりもシャープで多様性に富んだサンプルを生成しており、VAE や WAE でよく見られる平均化アーチファクトを回避している。
• PD-WGAN が学習する潜在空間は、WGAN-GP よりも優れた補間品質と構造を示しており、より優れた分離性と一般化性能を示している。