[論文レビュー] Robust GANs against Dishonest Adversaries

Zhi Xu, Chengtao Li+1 more|arXiv (Cornell University)|Feb 27, 2018

Adversarial Robustness in Machine Learning参考文献 50被引用数 3

ひとこと要約

本稿では、識別器のフィードバックに対する adversarial パーティクル変更に基づく GAN の新たな頑健性の概念を導入し、標準的な GAN がこのようなノイズに対して極めて感受性が高いことを示している。頑健性の理論的条件を導出し、WGAN にインspired された新しい GAN の族を提案し、安定性が向上し正則化の必要性が低減されている。実験的に、これらのモデルが内部フィードバックの破損に対してより耐性があることを確認した。

ABSTRACT

Robustness of deep learning models is a property that has recently gained increasing attention. We explore a notion of robustness for generative adversarial models that is pertinent to their internal interactive structure, and show that, perhaps surprisingly, the GAN in its original form is not robust. Our notion of robustness relies on a perturbed discriminator, or noisy, adversarial interference with its feedback. We explore, theoretically and empirically, the effect of model and training properties on this robustness. In particular, we show theoretical conditions for robustness that are supported by empirical evidence. We also test the effect of regularization. Our results suggest variations of GANs that are indeed more robust to noisy attacks and have more stable training behavior, requiring less regularization in general. Inspired by our theoretical results, we further extend our framework to obtain a class of models related to WGAN, with good empirical performance. Overall, our results suggest a new perspective on understanding and designing GAN models from the viewpoint of their internal robustness.

研究の動機と目的

• 識別器のフィードバックに対する内部の adversarial 干渉に基づく GAN の新たな頑健性の概念を形式化すること。
• GAN がこのような摂動に対して頑健になる理論的条件を特定すること。
• ノイズの入ったフィードバック下での修正 GAN アーキテクチャの頑健性を実験的に検証すること。
• より良い訓練安定性と正則化の必要性の低減を実現する、WGAN に類似した新しいクラスのモデルにフレームワークを拡張すること。

提案手法

• 生成器が特定の確率で破損した信号を受け取る、摂動を加えたフィードバック機構を導入する。
• このようなフィードバック摂動下での生成器の学習安定性に基づく頑健性基準を定義する。
• Ĥ 内の厳密に増加する、奇関数である関数 f_D と f_G を用いて、頑健性を保証する目的関数に関する理論的条件を導出する。
• Ĥ からの関数 f_D と f_G を用いた一般化された GAN フレームワークを提案し、これは線形損失や WGAN に類似した損失を含む。
• 識別器の目的関数に勾配ペナルティ（WGAN-GP 方式）を適用し、Lipschitz 継続性を強制する。
• 公平な実験的比較のため、Adam 最適化手法と WGAN-GP と同一のハイパーパrameter を用いた標準的な訓練手順を採用する。

実験結果

リサーチクエスチョン

• RQ1 元の GAN アーキテクチャは、識別器のフィードバック信号に対する小さな adversarial 摂動に対して頑健か？
• RQ2 GAN における内部フィードバックの破損に対して頑健性を保証する目的関数に関する理論的条件は何か？
• RQ3 理論的頑健性条件を活用して、訓練安定性が向上した新しい GAN アーキテクチャを設計できるか？
• RQ4 理論的頑健性条件に基づくモデルは、標準的な GAN よりも正則化の必要性が低いか？
• RQ5 提案された頑健な GAN は、WGAN-GP や標準的な GAN と比較して、訓練安定性および性能面で実験的にどのように異なるか？

主な発見

• 元の GAN は、識別器のフィードバックに対するわずかな摂動に対しても頑健ではなく、多くの場合訓練に失敗する。
• 線形損失や WGAN に類似した損失（特に f_D と f_G が Ĥ に属するもの）を用いるモデルは、理論的および実験的にフィードバックノイズに対してより頑健である。
• 提案された頑健な GAN フレームワークは、標準的な GAN よりも著しく正則化の必要性を低減しながら安定した訓練を達成している。
• 実験結果から、提案モデルはモード崩壊を伴わずに多様な数字（例：MNIST）を生成する成功率が高くなっている。
• 提案フレームワークに勾配ペナルティを追加することで、安定性が維持され、性能が向上し、学習イテレーションに伴いインception スコアが安定して上昇している。
• フレームワークは既存の WGAN-GP 実装とシームレスに統合可能であり、最小限のコード変更で実装可能である。