[論文レビュー] On gradient regularizers for MMD GANs

Michael Arbel, Danica J. Sutherland+2 more|arXiv (Cornell University)|May 29, 2018

Numerical methods in inverse problems参考文献 47被引用数 7

ひとこと要約

この論文は、最大平均差分（MMD）GANにおける勾配正則化を新たに提案し、実データ分布上での評価者（クリティック）の勾配ノルムに正確で解析的な勾配制約を課すことで、訓練の安定性と収束性を向上させている。本手法は、$160\times160$ CelebAおよび$64\times64$ ImageNetで最先端の結果を達成し、既存のMMDおよびWGANベースのモデルを上回る高速かつ安定した訓練を実現している。

ABSTRACT

We propose a principled method for gradient-based regularization of the critic of GAN-like models trained by adversarially optimizing the kernel of a Maximum Mean Discrepancy (MMD). We show that controlling the gradient of the critic is vital to having a sensible loss function, and devise a method to enforce exact, analytical gradient constraints at no additional cost compared to existing approximate techniques based on additive regularizers. The new loss function is provably continuous, and experiments show that it stabilizes and accelerates training, giving image generation models that outperform state-of-the art methods on $160 imes 160$ CelebA and $64 imes 64$ unconditional ImageNet.

研究の動機と目的

• 評価者（クリティック）の勾配が制御不能であることが原因で生じるMMD GANの不安定性と劣悪な最適化信号を是正すること。
• 近似または加法的正則化手法を避ける、原理的かつ解析的に実装可能な勾配制約を開発すること。
• 生成器の現在のバッチに依存しない形で、実データ分布上での評価者が良好に動作することを保証することで、生成器の性能を向上させること。
• 提案された正則化が高速かつ安定した訓練と優れた画像生成品質をもたらすことを示すこと。
• 高解像度画像生成ベンチマーク、特に$160\times160$ CelebAおよび$64\times64$ ImageNetにおいて、既存のMMDおよびWGANベースのGANを上回ることを示すこと。

提案手法

• 生成器のサンプル$\mathbb{Q}_{\theta}$ではなく、実データ分布$\mathbb{P}$上でのみ制約を課す新しいMMDベースの損失を提案。
• 半教師あり学習にインspiredされた正則化を導出し、$\mathbb{P}$の密度が高い領域で勾配ノルムが高くなるのを防ぎ、実データ上での平坦性を保証。
• ラグランジュ乗数を用いた定式化により、勾配制約を正確かつ解析的に実装し、勾配ペナルティ項に起因する近似誤差を回避。
• 実データ分布$\mathbb{P}$上での密度重み付き勾配ノルム項を含む修正された評価者損失を適用し、追加計算コストなしに制約を導入。
• 特に深層ネットワークにおいてさらに安定化を図るため、本手法と併用してスペクトル正規化を適用。
• 表現能力を向上させるために、学習可能なカーネルを組み合わせたスケーリングMMD（SMMD）の変種を採用。

実験結果

リサーチクエスチョン

• RQ1 実データ分布上での評価者の勾配に正確な制約を課すことで、MMD GANにおける訓練の安定性と性能が向上するか？
• RQ2 生成器の現在のバッチに依存しない勾配正則化は、分布シフトを回避し、最適化ダイナミクスを改善するか？
• RQ3 本手法は、WGAN-GPなどの既存の勾配ペナルティと比較して、収束速度およびサンプル品質において優れているか？
• RQ4 本正則化は、$160\times160$ CelebAや$64\times64$ ImageNetといった高解像度画像生成ベンチマークで最先端の結果を達成できるか？
• RQ5 高次元設定においても、連続的な損失関数を維持し、モード崩壊を回避できるか？

主な発見

• スペクトル正規化を用いた本手法のSMMD GANは、CIFAR-10でInceptionスコア7.3 ± 0.1、FID 25.0 ± 0.3を達成し、SN-MMDGAN や Sobolev-GAN といったすべてのベースラインを上回った。
• $160\times160$ CelebAでは、最先端のFIDおよびKIDスコアを達成し、安定した訓練が行われ、モード崩壊は観察されなかった。
• $64\times64$ ImageNetでは、既存のMMDおよびWGANベースの手法を上回り、優れたサンプル品質と訓練の安定性を示した。
• 標準MMDGANや勾配制約付きMMDGANよりも収束が早く、KIDスコアが急激に上昇するようなピークが見られず、滑らかに減少した。
• スペクトル正規化と本正則化を組み合わせたSN-SMMDGANは、CIFAR-10でFIDを25.0 ± 0.3まで低下させ、SN-MMDGAN（FID 31.5 ± 0.2）やSN-WGAN-GP（FID 154.3 ± 0.2）を顕著に上回った。
• 損失関数は解析的に連続であり、MNISTで32,000回の生成器イテレーション後でさえ、勾配制約なしのモデルで見られる不安定さやランク崩壊を回避した。