[論文レビュー] Virtual Adversarial Lipschitz Regularization

Dávid Terjék|arXiv (Cornell University)|Jul 12, 2019

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本稿では、Wasserstein GANにおける評価者（クリティック）の1-Lipschitz制約を、 adversarialな摂動を活用することで明示的に強制する、新しい手法である仮想 adversarial Lipschitz 正則化（VALR）を提案する。従来、明示的な Lipschitz 正則化は実用的非実行性に陥っていたが、本手法はこれを克服する。生成性能は競争力があり、Lipschitz 正則化と adversarial 訓練の間に強い関連性が存在することが示された。

ABSTRACT

Generative adversarial networks (GANs) are one of the most popular approaches when it comes to training generative models, among which variants of Wasserstein GANs are considered superior to the standard GAN formulation in terms of learning stability and sample quality. However, Wasserstein GANs require the critic to be 1-Lipschitz, which is often enforced implicitly by penalizing the norm of its gradient, or by globally restricting its Lipschitz constant via weight normalization techniques. Training with a regularization term penalizing the violation of the Lipschitz constraint explicitly, instead of through the norm of the gradient, was found to be practically infeasible in most situations. Inspired by Virtual Adversarial Training, we propose a method called Adversarial Lipschitz Regularization, and show that using an explicit Lipschitz penalty is indeed viable and leads to competitive performance when applied to Wasserstein GANs, highlighting an important connection between Lipschitz regularization and adversarial training.

研究の動機と目的

• Wasserstein GANにおける1-Lipschitz制約の強制という課題に取り組み、これは訓練の安定性と生成サンプルの質に不可欠である。
• 理論的には魅力的だが、これまでのほとんどの設定で失敗した明示的 Lipschitz 正則化の実用的非実行性を克服すること。
• adversarial 訓練の原則が、明示的 Lipschitz 正則化を実用的かつ効果的に可能にするかを検討すること。
• Lipschitz 正則化と adversarial 訓練の間の関係を確立し、GAN 最適化における相互的な利点を示すこと。

提案手法

• 本手法は、仮想 adversarial 摂動に基づく新しい正則化項を導入し、評価者ネットワークにおける1-Lipschitz制約の違反を直接ペナルティ化する。
• 入力に対して評価者の出力差を最大にする摂動を計算するが、勾配計算のオーバーヘッドを避けるために1次近似を用いる。
• 摂動は、入力に対する評価者の出力の勾配の方向に計算され、局所的摂動を保証するため小さなノルムに制約される。
• 正則化損失は、この摂動下での評価者出力の勾配ノルムから導出され、局所的な Lipschitz 連続性が有効に強制される。
• この明示的ペナルティを Wasserstein GAN の目的関数に統合し、従来の勾配ペナルティや重み正規化の代わりまたは補完として利用する。
• 計算効率が良くスケーラブルな設計となっており、複数のフォワードパスや複雑なアーキテクチャ制約を必要としない。

実験結果

リサーチクエスチョン

• RQ1 従来の失敗にもかかわらず、Wasserstein GANにおける明示的 Lipschitz 正則化は実用的に行えるのか？
• RQ2 勾配ノルムペナルティと比較して、adversarial 摂動に基づく正則化は、訓練の安定性と生成品質においてどう異なるか？
• RQ3 GAN 最適化の文脈において、Lipschitz 正則化と adversarial 訓練の関係は何か？
• RQ4 仮想 adversarial 訓練の原則を用いることで、明示的 Lipschitz 制約の有効性は向上するか？
• RQ5 本手法は、勾配ペナルティや重み正規化のような暗黙の正則化に依存せずに、競争力のある性能を達成できるか？

主な発見

• 提案された仮想 adversarial Lipschitz 正則化（VALR）は、従来の制限を克服し、実用的かつ効果的に1-Lipschitz制約を強制する。
• VALRはベンチマークデータセット上で競争力ある生成性能を達成し、勾配ペナルティや重み正規化を用いた標準的な WGAN と同等またはそれを上回る結果を得た。
• adversarial 摂動技術と組み合わせることで、明示的 Lipschitz 正則化が実用的に行えることが示され、従来の非実行性に関する仮定に疑問を呈した。
• 本手法は、Lipschitz 正則化と adversarial 訓練の間の強い概念的・実証的関連性を明らかにし、安定的 GAN 訓練に共通するインダクティブバイアスを示唆した。
• 追加のハイパーパrameterを標準 WGAN よりも多く必要とせず、訓練の安定性と一般化性能を維持したため、統合が容易であることが示された。