[論文レビュー] A Bayes-Optimal View on Adversarial Examples

Eitan Richardson, Yair Weiss|arXiv (Cornell University)|Feb 20, 2020

Adversarial Robustness in Machine Learning参考文献 33被引用数 5

ひとこと要約

本稿では、ベイズ最適分類器を正確に計算できる、扱いやすく現実的である合成データセットフレームワークを提案する。このフレームワークにより、高次元空間においても adversarial vulnerability（敵対的脆弱性）が避けられないものではないことが示された。実際、CNNはベイズ最適分類器が証明可能に頑健である場合でさえ、一貫して脆弱な分類器を学習する一方、RBF SVM は信頼性高く頑健なモデルを学習する。これは、敵対的例が訓練手法の失敗によって生じる避けられる問題であることが示唆され、幾何的制限ではなく、むしろ訓練法の欠陥に起因している可能性を示している。

ABSTRACT

Since the discovery of adversarial examples - the ability to fool modern CNN classifiers with tiny perturbations of the input, there has been much discussion whether they are a "bug" that is specific to current neural architectures and training methods or an inevitable "feature" of high dimensional geometry. In this paper, we argue for examining adversarial examples from the perspective of Bayes-Optimal classification. We construct realistic image datasets for which the Bayes-Optimal classifier can be efficiently computed and derive analytic conditions on the distributions under which these classifiers are provably robust against any adversarial attack even in high dimensions. Our results show that even when these "gold standard" optimal classifiers are robust, CNNs trained on the same datasets consistently learn a vulnerable classifier, indicating that adversarial examples are often an avoidable "bug". We further show that RBF SVMs trained on the same data consistently learn a robust classifier. The same trend is observed in experiments with real images in different datasets.

研究の動機と目的

• ベイズ最適分類器を効率的に計算できる、現実的で扱いやすい画像データセットの構築。
• 異なるデータ分布条件下で、ベイズ最適分類器が証明可能に頑健か脆弱かを分析すること。
• 同じデータ上でCNN、線形SVM、RBF SVMを比較することで、敵対的脆弱性の原因を解明すること。
• 最適分類器に頑健性がある場合、それが実世界のモデルにどのように反映されるかを検証すること、特に対称的・非対称的データ分布の下での比較。
• 対称的合成データセットが、敵対的頑健性に関する結論を下すのに十分に現実のデータを近似できるかを評価すること。

提案手法

• 混合因子分析（MFA）モデルを用いて、制御された分布的性質を持つ現実的で高次元のデータを生成する合成画像データセットを構築する。
• ガウス混合成分に基づく閉形式解を用いて、ベイズ最適分類器を解析的に計算可能となるようなデータ分布を定義する。
• 任意のL2有界の敵対的摂動に対して、ベイズ最適分類器が証明可能に頑健であるための解析的条件を導出する。
• 同じ合成データセット上で標準的なCNN、線形SVM、RBF SVMを訓練し、ベイズ最適ベンチマークに対する頑健性を比較する。
• 一般化性能を評価するため、対称的合成データでCNNを学習し、実際のCelebAおよびMNISTデータでテストすることで、実世界の分布との類似性を評価する。
• 摂動の大きさ（L2ノルム）と視覚的検査を用いて、モデルおよびデータセット間での敵対的頑健性を定量化する。

実験結果

リサーチクエスチョン

• RQ1 どのような分布的条件下で、ベイズ最適分類器が、高次元であってもすべての敵対的攻撃に対して証明可能に頑健となるか？
• RQ2 ベイズ最適分類器が頑健である場合、標準的なCNN学習が頑健な分類器を学習できるのか、それともアーキテクチャそのものに脆弱性が内在しているのか？
• RQ3 RBF SVM などのマージン最大化手法は、CNNが失敗する同じデータで、一貫して頑健な分類器を学習するのか？
• RQ4 対称的・非対称的データ分布は、ベイズ最適分類器の頑健性にどのように影響を与えるか？
• RQ5 対称的合成データセットは、モデルの一般化および敵対的頑健性の観点から、現実のデータをどれほどよく近似できるか？

主な発見

• 対称的データ分布下では、ベイズ最適分類器は証明可能に頑健であり、それを欺くには大きな、知覚的に明確な摂動（例：L2 ≈ 3.0–3.1）が必要となる。
• ベイズ最適分類器が頑健であるにもかかわらず、標準的なCNN学習は一貫して脆弱な分類器を学習し、対称的データセットでは攻撃成功率が0%〜2%にとどまる。
• 同じデータで学習されたRBF SVM は一貫して頑健な分類器を学習し、対称的データセットでは86%〜100%の敵対的正確度（攻撃成功率0%〜26%）を達成する。
• 実際のCelebAデータでは、CNNと線形SVMは高い敵対的脆弱性を示す（例：5.3%〜16.3%の攻撃成功率）、一方RBF SVM は改善された頑健性を示す（例：10.3%〜32.3%の攻撃成功率）。
• 対称的合成データで学習したCNNは、実データ（CelebAおよびMNIST）にうまく一般化し、平均で5%の正確度低下にとどまる。これは、合成データの現実性と、頑健性分析への有用性を裏付ける。
• 結果から、CNNにおける敵対的脆弱性は、高次元幾何の必然的結果ではなく、むしろ現在の訓練手法の失敗に起因していることが示唆される。最適分類器は対称的条件下で依然として頑健である。