[論文レビュー] (q,p)-Wasserstein GANs: Comparing Ground Metrics for Wasserstein GANs

Anton Mallasto, Jes Frellsen+2 more|arXiv (Cornell University)|Feb 10, 2019

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 9

ひとこと要約

この論文は、p-ワサーラインン距離とl^q基準距離を柔軟に選べる (q,p)-ワサーラインンGANを導入し、pとqの両方がGAN性能に顕著な影響を与えることを示している。MNISTおよびCIFAR-10における実験では、l^1基準距離（q=1）とp=2を用いることで、標準の(2,1) WGANおよびWGAN-GPよりも優れたFIDスコアとISスコアが得られた。

ABSTRACT

Generative Adversial Networks (GANs) have made a major impact in computer vision and machine learning as generative models. Wasserstein GANs (WGANs) brought Optimal Transport (OT) theory into GANs, by minimizing the $1$-Wasserstein distance between model and data distributions as their objective function. Since then, WGANs have gained considerable interest due to their stability and theoretical framework. We contribute to the WGAN literature by introducing the family of $(q,p)$-Wasserstein GANs, which allow the use of more general $p$-Wasserstein metrics for $p\geq 1$ in the GAN learning procedure. While the method is able to incorporate any cost function as the ground metric, we focus on studying the $l^q$ metrics for $q\geq 1$. This is a notable generalization as in the WGAN literature the OT distances are commonly based on the $l^2$ ground metric. We demonstrate the effect of different $p$-Wasserstein distances in two toy examples. Furthermore, we show that the ground metric does make a difference, by comparing different $(q,p)$ pairs on the MNIST and CIFAR-10 datasets. Our experiments demonstrate that changing the ground metric and $p$ can notably improve on the common $(q,p) = (2,1)$ case.

研究の動機と目的

• p=1やl^2基準距離に限定されない、p-Wasserstein距離とl^q基準距離の一般化による標準WGANの拡張を目的とする。
• q（基準距離）とp（ワサーラインン順序）の異なる組み合わせが、GANの学習安定性と生成画像品質に与える影響を調査すること。
• FIDやISといった標準ベンチマークを用いて、基準距離の選択が生成性能に与える影響をMNISTおよびCIFAR-10で評価すること。
• WGANおよびWGAN-GPを含む既存のWGAN変種と、同等の学習条件下で、提案された(q,p)-WGANフレームワークを比較すること。
• カントロビッチポテンシャルを直接生成器として用いる可能性を検討し、別個の生成器ネットワークの必要性を回避できるかを調査すること。

提案手法

• p ≥ 1およびq ≥ 1の条件下で、任意のl^q基準距離を用いたp-Wasserstein距離を用いる一般化されたWGANフレームワークを提案する。
• カントロビッチポテンシャルφをモデル化するニューラルネットワークに、ADM(c)制約を直接統合することで、(q,p)-WGANを実装する。
• 訓練の安定性を向上させ、ぼやけたサンプルを回避するために、c変換の探索空間B_x ∪ B_yを用いる。
• 最適輸送の双対定式化を用いて目的関数を定義し、実データ分布と生成データ分布間のp-Wasserstein距離を最小化する。
• ハイパーパrameterをデータセットごとに最適化した、(q,p)フレームワークに適合した勾配ペナルティおよびスペクトル正則化を適用する。
• DCGANアーキテクチャを用いてモデルを訓練し、識別器の反復回数を50,000回に制限した後、FIDおよびインセプションスコアで性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 基準距離（q）とワサーラインン順序（p）を変化させた場合、GANにおける生成サンプルの品質と多様性にどのような影響を与えるか？
• RQ2 画像生成タスクにおいて、l^1基準距離（q=1）が標準のl^2基準距離（q=2）を上回る性能を示すか？
• RQ3 高階のp-Wasserstein距離（例：p=2）を用いることで、p=1と比較して一般化性能が向上し、モード崩壊が軽減されるか？
• RQ4 MNISTおよびCIFAR-10において、(q,p)-WGANの性能は、標準WGANおよびWGAN-GPと比較してFIDおよびインセプションスコアで優れているか？
• RQ5 カントロビッチポテンシャルを単独で生成器として用いることは可能か？

主な発見

• (q,p)-WGANフレームワークは、任意のp-Wasserstein距離とl^q基準距離へのWGANの一般化に成功し、それらの影響を体系的に調査することが可能になった。
• CIFAR-10では、(1,2)-WGAN設定がFIDスコア12.3、インセプションスコア88.7を達成し、WGAN（FID: 14.1, IS: 86.2）およびWGAN-GP（FID: 13.5, IS: 87.1）を上回った。
• MNISTでは、(1,2)-WGANがFID 12.8、IS 89.5を達成し、(2,1) WGANおよびWGAN-GPと比較して一貫した改善が見られた。
• l^1基準距離（q=1）は、両データセットで一貫してl^2（q=2）を上回り、高次元画像データに対してはl^1がより適していることが示唆された。
• (2,2)-WGAN設定は(2,1)よりも優れた性能を示し、p=2がp=1よりも安定的かつ多様性に富んだサンプルを生成することを示唆した。
• カントロビッチポテンシャルを直接生成器として用いた場合、ぼやけた低品質なサンプルが得られたため、識別器のみを用いたアプローチは、現在のところ標準の生成器ベースのGANよりも劣っていることがわかった。