[論文レビュー] Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs

Alexia Jolicoeur‐Martineau, Ioannis Mitliagkas|arXiv (Cornell University)|Oct 15, 2019

Adversarial Robustness in Machine Learning参考文献 27被引用数 12

ひとこと要約

この論文は、最大マージン分類器（MMCs）を任意のノルムおよび非線形関数へ一般化し、サポートベクターマシン（SVMs）が特殊なケースであることを明らかにする。MMCsが積分確率メトリクス（IPMs）または勾配ノルムペナルティ付き分類器に対応することを確立し、勾配ノルムペナルティを課すGANと直接関連付ける。これは、 Wasserstein、標準、最小二乗、ハングル GAN におけるディスクライマーが勾配ペナルティ付きでMMCであることを示している。さらに、ハングル損失を用いた $L^\infty$-ノルムペナルティが $L^2$-ノルムペナルティよりもGANの性能を向上させることを示し、相対的GANのマージンを導出する。

ABSTRACT

We generalize the concept of maximum-margin classifiers (MMCs) to arbitrary norms and non-linear functions. Support Vector Machines (SVMs) are a special case of MMC. We find that MMCs can be formulated as Integral Probability Metrics (IPMs) or classifiers with some form of gradient norm penalty. This implies a direct link to a class of Generative adversarial networks (GANs) which penalize a gradient norm. We show that the Discriminator in Wasserstein, Standard, Least-Squares, and Hinge GAN with Gradient Penalty is an MMC. We explain why maximizing a margin may be helpful in GANs. We hypothesize and confirm experimentally that $L^\infty$-norm penalties with Hinge loss produce better GANs than $L^2$-norm penalties (based on common evaluation metrics). We derive the margins of Relativistic paired (Rp) and average (Ra) GANs.

研究の動機と目的

• 最大マージン分類器（MMCs）を $L^2$-ノルムと線形関数に限定せず、任意のノルムおよび非線形設定へ一般化すること。
• MMCsと積分確率メトリクス（IPMs）の理論的関係を確立し、特に勾配ノルムペナルティの文脈で検証すること。
• 勾配ペナルティ付きのさまざまなGANバージョン（Wasserstein、標準、最小二乗、ハングル）におけるディスクライマーがMMCの例であることを示すこと。
• $L^\infty$-ノルムペナルティによるマージン最大化が、$L^2$-ノルムペナルティと比較してGAN学習を改善するかを調査すること。
• 一般化されたMMCフレームワークを用いて、相対的ペアド（Rp）および平均（Ra）GANのマージン式を導出すること。

提案手法

• 統一された最適化フレームワークを用いて、最大マージン分類器（MMCs）を任意のノルムおよび非線形関数へ一般化する。
• MMCsを積分確率メトリクス（IPMs）として再定式化し、確率測度およびデータ分布上の期待値と関連付ける。
• ノルムペナルティ付きのMMCsが勾配ノルムペナルティ付き分類器に対応することを示し、勾配ペナルティ付きGANとの橋渡しを確立する。
• 勾配ペナルティ付きの複数のGANバージョン（Wasserstein、標準、最小二乗、ハングル）におけるディスクライマーを分析し、MMCと同等であることを証明する。
• 一般化されたMMCフレームワークを用いて、相対的ペアド（Rp）および平均（Ra）GANのマージン式を導出する。
• 標準的な評価指標を用いて、ハングル損失GANにおける $L^2$-ノルムと $L^\infty$-ノルムペナルティの比較実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 最大マージン分類器は、$L^2$-ノルムと線形関数を越えて、任意のノルムおよび非線形設定へどのように一般化できるか？
• RQ2 MMCs、積分確率メトリクス（IPMs）、および勾配ノルムペナルティ付き分類器との理論的関係は何か？
• RQ3 GANにおけるマージン最大化が性能を向上させる理由は何か？また、ノルムの選択（$L^2$ 対 $L^\infty$）がその効果に与える影響は？
• RQ4 ハングル損失GANにおける $L^\infty$-ノルムペナルティが、$L^2$-ノルムペナルティを上回る性能を示すか？（一般的なGAN評価指標で評価）
• RQ5 一般化されたMMCフレームワーク下で、相対的ペアド（Rp）および平均（Ra）GANの明示的なマージン式は何か？

主な発見

• 勾配ペナルティ付きのWasserstein、標準、最小二乗、ハングル GAN におけるディスクライマーは、形式的に最大マージン分類器（MMC）と同等である。
• MMCsは積分確率メトリクス（IPMs）として定式化可能であり、メトリクス学習とロバスト分類の理論的リンクを確立する。
• 実験的に確認された結果、ハングル損失を用いた $L^\infty$-ノルムペナルティは、標準的な評価指標において $L^2$-ノルムペナルティよりも優れたGANを生成する。
• 相対的ペアド（Rp）GANのマージンが導出され、一般化されたMMCフレームワークと整合的であることが示された。
• 相対的平均（Ra）GANのマージンも導出され、相対的GANの理論的理解が拡張された。
• 理論的フレームワークにより、マージン最大化がGANの一般化性能および学習安定性を向上させる理由が説明された。