[論文レビュー] Manifold Adversarial Learning

Shufei Zhang, Kaizhu Huang+2 more|arXiv (Cornell University)|Jul 16, 2018

Adversarial Robustness in Machine Learning参考文献 23被引用数 5

ひとこと要約

本稿では、ガウス・ミックスチャネル・モデル（GMM）とKLダイバージェンス正則化を用いて潜在空間における分布多様体の滑らかさを向上させることで、モデルのロバスト性を向上させる、新たな対抗的学習フレームワークであるManifold Adversarial Training（MAT）を提案する。対抗的ノイズを用いて多様体の滑らかさを破壊する一方で、モデルがこれを是正するように学習させることで、MNIST、CIFAR-10、SVHNの上での教師ありおよび半教師あり学習において、既存の対抗的手法を上回る最先端の性能を達成する。

ABSTRACT

Recently proposed adversarial training methods show the robustness to both adversarial and original examples and achieve state-of-the-art results in supervised and semi-supervised learning. All the existing adversarial training methods consider only how the worst perturbed examples (i.e., adversarial examples) could affect the model output. Despite their success, we argue that such setting may be in lack of generalization, since the output space (or label space) is apparently less informative.In this paper, we propose a novel method, called Manifold Adversarial Training (MAT). MAT manages to build an adversarial framework based on how the worst perturbation could affect the distributional manifold rather than the output space. Particularly, a latent data space with the Gaussian Mixture Model (GMM) will be first derived.On one hand, MAT tries to perturb the input samples in the way that would rough the distributional manifold the worst. On the other hand, the deep learning model is trained trying to promote in the latent space the manifold smoothness, measured by the variation of Gaussian mixtures (given the local perturbation around the data point). Importantly, since the latent space is more informative than the output space, the proposed MAT can learn better a robust and compact data representation, leading to further performance improvement. The proposed MAT is important in that it can be considered as a superset of one recently-proposed discriminative feature learning approach called center loss. We conducted a series of experiments in both supervised and semi-supervised learning on three benchmark data sets, showing that the proposed MAT can achieve remarkable performance, much better than those of the state-of-the-art adversarial approaches. We also present a series of visualization which could generate further understanding or explanation on adversarial examples.

研究の動機と目的

• 既存の対抗的学習手法が出力空間のロバスト性にのみ焦点を当てており、ラベル空間の情報量が低いため一般化に欠けるという限界を是正すること。
• 出力空間だけでなく、潜在空間におけるよりロバストでコンactなデータ表現を学習することで、モデルの一般化性能を向上させること。
• 中心損失（center loss）などの既存手法を統合・改善する統一フレームワークを構築すること。このフレームワークは潜在特徴の分布的構造に基づいて動作する。
• 潜在空間における多様体の滑らかさを活用することで、半教師あり学習への対抗的学習の拡張を図ること。
• データ多様体の構造的変化を反映する、より困難で解釈可能な対抗的例を生成すること。

提案手法

• 潜在特徴空間をガウス・ミックスチャネル・モデル（GMM）でモデル化し、潜在的なデータ分布を表現する。
• 元の例と摂動を加えた例の潜在空間におけるGMM間のKLダイバージェンスを用いて、多様体の滑らかさを定義する。
• KLダイバージェンスを最大化するように対抗的ノイズを生成し、多様体構造を最も破壊するようにする。
• 深層ニューラルネットワークは、このKLダイバージェンスを最小化するように学習させ、潜在多様体におけるロバスト性と滑らかさを促進する。
• 潜在空間を正則化するために、最大相互情報量（MMI）を用い、情報量が多く判別力のある表現を保証する。
• 学習プロセスはエンドツーエンドでスケーラブルであり、教師ありおよび半教師あり学習への応用が可能である。

実験結果

リサーチクエスチョン

• RQ1 対抗的学習を出力空間を超えて潜在空間に効果的に拡張することで、一般化性能の向上が図れるか？
• RQ2 GMMとKLダイバージェンスを用いて潜在空間における分布的多様体を滑らかにすることで、モデルのロバスト性と性能にどのような影響を与えるか？
• RQ3 提案されたMATフレームワークは、中心損失（center loss）などの既存手法を統合または改善できるか？
• RQ4 多様体構造に基づく対抗的学習は、より困難で解釈可能な対抗的例を生成できるか？
• RQ5 MATは、教師ありおよび半教師あり設定において、最先端の対抗的学習手法と比較してどのように性能を発揮するか？

主な発見

• MATは、教師ありおよび半教師あり学習の両方において、MNIST、CIFAR-10、SVHNで最先端の性能を達成し、既存の対抗的学習手法を顕著に上回っている。
• MNISTでは、FGSM、PGD、その他の対抗的攻撃に対して優れたロバスト性を示しており、特に強い摂動下でも優れた性能を発揮するが、FGSM防御の特定の状況ではFGSM自体が最良の性能を示す。
• t-SNE埋め込みの可視化により、MATは対抗的ノイズが増加しても、VATと比べてより判別可能なクラスクラスタを保持していることが示された。
• MATによって生成された対抗的例は、しばしば数字を視覚的に類似した数字に変形させる（例：3→8、7→9、6→8）、つまり摂動が構造的なストロークを標的にしている。
• 本手法は、特に数字データセットにおいて、本物のデータと区別がつかないような対抗的例を効果的に生成しており、多様体レベルの摂動が成功していることを示唆している。
• CIFAR-10では、対抗的例が視覚的に解釈しにくく、オブジェクトレベルの構造が手書き数字よりも複雑なためと考えられる。