[論文レビュー] Understanding Adversarial Robustness: The Trade-off between Minimum and Average Margin

Kaiwen Wu, Yaoliang Yu|arXiv (Cornell University)|Jul 26, 2019

Adversarial Robustness in Machine Learning参考文献 40被引用数 8

ひとこと要約

本論文は、深層学習における根本的なトレードオフを特定する：標準的な学習は高い精度を達成するため最小マージンを最大化するが、平均マージンを低下させ、 adversarial 攻撃に対して脆弱性を増す。この問題に対処するために、著者らは Fisher 一致性を保ちつつ平均マージンを明示的に促進する新たな正則化項を提案する。この正則化項により、精度を損なわず、顕著に堅牢性が向上し、複数のデータセットおよびモデルで検証されている。

ABSTRACT

Deep models, while being extremely versatile and accurate, are vulnerable to adversarial attacks: slight perturbations that are imperceptible to humans can completely flip the prediction of deep models. Many attack and defense mechanisms have been proposed, although a satisfying solution still largely remains elusive. In this work, we give strong evidence that during training, deep models maximize the minimum margin in order to achieve high accuracy, but at the same time decrease the \emph{average} margin hence hurting robustness. Our empirical results highlight an intrinsic trade-off between accuracy and robustness for current deep model training. To further address this issue, we propose a new regularizer to explicitly promote average margin, and we verify through extensive experiments that it does lead to better robustness. Our regularized objective remains Fisher-consistent, hence asymptotically can still recover the Bayes optimal classifier.

研究の動機と目的

• 敵対的脆弱性の根本的原因を解明すること、特にモデルの堅牢性におけるマージン分布の役割を特定すること。
• 標準的な学習において、精度のための最小マージン最大化と堅牢性のための平均マージン最小化の間にある本質的トレードオフを同定すること。
• ベイズ最適分類器への漸近的一貫性を保証しながら、平均マージンを明示的に促進する新たな学習目的関数を開発すること。
• 提案された正則化項が、多様なアーキテクチャとデータセットにおいて敵対的堅牢性を向上させることを実証的に検証すること。
• 計算コストの高い敵対的訓練や複雑な防御機構に依存せずに、堅牢性を向上させられることを示すこと。

提案手法

• 訓練中の平均マージンを明示的に最大化する新たな正則化項を提案し、これはすべての訓練例におけるマージンの平均として定義される。
• 標準的な交差エントロピー損失関数に平均マージン正則化項を統合し、元の最適化目的関数の Fisher 一貫性を維持する。
• 正則化された目的関数を、標準分類損失と、より大きな平均マージンを促進するペナルティ項の組み合わせとして定式化する。
• MNIST および CIFAR-10 データセット上で、MLP や CNN を含む線形および非線形モデルに、正則化された目的関数を適用する。
• さまざまな $\epsilon$ 値における PGD 攻撃を用いて堅牢性を評価し、クリーン精度と堅牢精度を、標準学習、LCR、敵対的訓練、および他のベースラインと比較する。
• 理論的妥当性を保証するため、正則化された目的関数が Fisher 一貫性を保つことを証明し、標本サイズが増加するにつれてベイズ最適分類器に収束することを保証する。

実験結果

リサーチクエスチョン

• RQ1 標準的な深層学習の学習は、最小マージンを最大化することで精度を向上させるが、平均マージンを著しく低下させ、敵対的脆弱性を引き起こすのか？
• RQ2 平均マージンを明示的に最大化することで、標準精度を劣化させることなく敵対的堅牢性を向上させられるか？
• RQ3 提案された正則化項は Fisher 一貫性を満たしており、学習された分類器が漸近的に最適性に到達することを保証するのか？
• RQ4 敵対的訓練、Lipschitz 正則化、および他の防御機構と比較して、提案手法の堅牢性と効率性はどのように異なるか？
• RQ5 最小マージンと平均マージンのトレードオフは、異なるアーキテクチャやデータセットにおいても継続的に存在するのか？

主な発見

• 標準学習は、精度を向上させるために最小マージンを最大化するが、平均マージンを著しく低下させ、敵対的攻撃に対して脆弱性を増す。
• MNIST では、提案された平均マージン正則化項（AMR）が $\ell_2$ PGD 攻撃（$\epsilon=2.0$）において 97.33% の堅牢精度を達成し、標準学習（87.52%）および LCR（26.96%）を上回った。
• CIFAR-10 では、AMR が $\epsilon=2.0$ で 93.12% の堅牢精度を達成し、標準学習（22.64%）を上回り、敵対的訓練と同等の性能を示したが、PGD に基づく手法よりもはるかに効率的であった。
• 平均マージン正則化項は、テストされたすべての $\epsilon$ 値において一貫して堅牢性を向上させ、特に LCR や標準学習が著しく劣化するような大きな摂動に対して顕著な効果を示した。
• AMR は、MNIST および CIFAR-10 の両方で最大マージン正則化項（MMR）を上回り、線形領域の最大化よりも平均マージンの制御がより効果的であることを示した。
• AMR の学習時間は標準学習と同等であり、反復的な PGD 更新やファインチューニングを必要とする敵対的訓練やディープディフェンスと比較して、はるかに効率的であった。