[論文レビュー] Adversarial Lipschitz Regularization

Dávid Terjék|Repository of the Academy's Library (Library of the Hungarian Academy of Sciences)|Jul 12, 2019

Generative Adversarial Networks and Image Synthesis参考文献 32被引用数 21

ひとこと要約

本論文では、パワー反復を用いて敵対的摂動を生成することで、ニューラルネットワークにおけるリプシッツ制約の違反を明示的にペナルティ化する、新しい手法である敵対的リプシッツ正則化（ALR）を提案する。これにより、ワッサーシュタインGANの安定した学習が可能になる。ALRは、CIFAR-10において最先端のインセプションスコアを達成し、CelebA-HQにおける高次元設定でも効果的な性能を示し、バッチ正規化を施した critic アーキテクチャにおいて勾配ペナルティを上回る性能を発揮する。

ABSTRACT

Generative adversarial networks (GANs) are one of the most popular approaches when it comes to training generative models, among which variants of Wasserstein GANs are considered superior to the standard GAN formulation in terms of learning stability and sample quality. However, Wasserstein GANs require the critic to be 1-Lipschitz, which is often enforced implicitly by penalizing the norm of its gradient, or by globally restricting its Lipschitz constant via weight normalization techniques. Training with a regularization term penalizing the violation of the Lipschitz constraint explicitly, instead of through the norm of the gradient, was found to be practically infeasible in most situations. Inspired by Virtual Adversarial Training, we propose a method called Adversarial Lipschitz Regularization, and show that using an explicit Lipschitz penalty is indeed viable and leads to competitive performance when applied to Wasserstein GANs, highlighting an important connection between Lipschitz regularization and adversarial training.

研究の動機と目的

• 生成対抗ネットワーク（GAN）の学習における不安定性とモード崩壊を解消するため、critic ネットワークへの厳密なリプシッツ連続性の強制を目的とする。
• 勾配ノルムペナルティ（例：勾配ペナルティ）の暗黙的正則化に代わる、リプシッツ違反の明示的正則化を目的とする。
• 敵対的訓練とリプシッツ正則化の関係を解明し、バーチャル敵対的訓練（VAT）にインspiredされたアプローチを検討する。
• 低次元および高次元の生成モデリング設定の両方において、明示的リプシッツ正則化の有効性を評価することを目的とする。

提案手法

• ALRは、各入力点 $ x $ においてパワー反復を用いて敵対的方向 $ r_{\text{adv}} $ を計算し、critic出力の最も急激な変化方向を近似する。
• 方向微分を推定するために、反復的パワー反復を用いて $ r_{\text{adv}} = \arg\max_{\|r\|_2=1} \left| f(x + r) - f(x) \right| $ を計算する。
• 明示的なリプシッツペナルティ項として、$ \lambda \cdot \mathbb{E}_{x} \left( \left| \frac{f(x) - f(x + r_{\text{adv}})}{\|r_{\text{adv}}\|_2} - 1 \right|^2 \right) $ を適用し、単位勾配からの逸脱をペナルティ化する。
• ペナルティはWGANの目的関数に統合され、勾配ノルム制約ではなく直接的に1-リプシッツ連続性を強制するWGAN-ALPを形成する。
• 高次元設定では、違反の絶対値および二乗項を含むペナルティに適応させ、安定性を向上させる。
• 本手法はCIFAR-10およびCelebA-HQで標準的な勾配ペナルティおよびベースラインWGANと比較して検証された。

実験結果

リサーチクエスチョン

• RQ1 敵対的摂動によるリプシッツ違反の明示的正則化は、安定的かつ高品質なGAN学習を実現できるか？
• RQ2 標準ベンチマークにおいて、インセプションスコアおよびフレチェットインセプション距離（FID）の観点から、ALRは勾配ペナルティと比較してどのように性能を発揮するか？
• RQ3 勾配ペナルティが失敗することが知られているバッチ正規化を導入した critic において、ALRは性能を維持できるか？
• RQ4 プログレッシブグローミング GAN を用いた CelebA-HQ における高次元画像生成タスクに、ALRは効果的に適用可能か？
• RQ5 敵対的訓練とリプシッツ正則化の関係は何か？また、モデルの一般化性能向上に活用できるか？

主な発見

• WGAN-ALPは、プログレッシブグローミングを除く非プログレッシブな手法の中で、CIFAR-10で9.41という最先端のインセプションスコアを達成し、ベースラインWGANおよびWGAN-GPを上回った。
• CelebA-HQ データセットでは、ALPがFID 14.65を達成したが、元のGPベースのプログレッシブ GAN が8.69であったことを考えると、このケースではGPを上回らなかったが、依然として強力な性能を示した。
• 勾配ペナルティが失敗する（最高でインセプションスコア6.29）とされるWGAN-BN設定において、ALPは顕著に向上したスコア8.71を達成し、バッチ正規化に対して頑健であることを示した。
• CIFAR-10およびCelebA-HQの両方で、高品質なサンプルが効果的に生成され、最先端モデルと同等の視覚的品質を達成した。
• バッチ正規化層を含む実用的アーキテクチャにおいて、ALRは他の手法よりも効果的であることが判明し、実用的アーキテクチャにおける主要な利点であることが示唆された。
• 二面ペナルティ形式（19式）は一方向のバージョンより不安定であったため、実用的には一方向正則化がより信頼性が高いことが示された。