[論文レビュー] Reinforcing Adversarial Robustness using Model Confidence Induced by Adversarial Training

Xi Wu, Uyeong Jang+3 more|arXiv (Cornell University)|Nov 21, 2017

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

本稿では、モデルの信頼度と近傍探索を組み合わせることで、低信頼度の adversarial 予測を是正する枠組み HCNN を提案する。Adversarially trained モデルが自然に正しく予測されたものと誤って予測されたものとの区別に信頼度を用いることができることを示しており、Carlini-Wagner 攻撃のような強力な攻撃に対しても、近傍探索と組み合わせることで効果的な防御が可能であることを示している。

ABSTRACT

In this paper we study leveraging confidence information induced by adversarial training to reinforce adversarial robustness of a given adversarially trained model. A natural measure of confidence is $\|F({\bf x})\|_\infty$ (i.e. how confident $F$ is about its prediction?). We start by analyzing an adversarial training formulation proposed by Madry et al.. We demonstrate that, under a variety of instantiations, an only somewhat good solution to their objective induces confidence to be a discriminator, which can distinguish between right and wrong model predictions in a neighborhood of a point sampled from the underlying distribution. Based on this, we propose Highly Confident Near Neighbor (${ t HCNN}$), a framework that combines confidence information and nearest neighbor search, to reinforce adversarial robustness of a base model. We give algorithms in this framework and perform a detailed empirical study. We report encouraging experimental results that support our analysis, and also discuss problems we observed with existing adversarial training.

研究の動機と目的

• adversarially trained モデルにおける信頼度が、自然データ点の近傍で正しい予測と誤った予測を信頼できる指標として機能するかどうかを調査すること。
• 既存の adversarial training にもかかわらず、強力な adversarial 攻撃に対する耐性に欠けるというギャップを解消すること。
• 入力空間における局所的探索と信頼度を組み合わせることで、耐性を向上させる手法を提案すること。
• 自然データ点の近傍において、信頼度が予測の正しさを強く示すという事実を実証的に検証すること。

提案手法

• 正しく予測されたものと誤って予測されたものとの区別に、モデル出力の \ell_{\infty} 範囲 \|F(\mathbf{x})\|_{\infty} を信頼度の指標として用いる。
• \xi-Highly Confident Near Neighbor (HCNN_{\xi}) 法を導入し、\mathbf{x} の \xi-ボール内から、信頼度を最大化しつつ \mathbf{x} に近い点 \mathbf{z} を探索する。
• 最適化の目的関数は \operatorname*{arg\,max}_{\mathbf{z} \in N(\mathbf{x},\xi)} (\|F(\mathbf{z})\|_{\infty} - \lambda|\mathbf{z} - \mathbf{x}|) であり、信頼度と近接性のバランスを取る。
• adversarial な入力を、局所的探索によって高信頼度領域へと元に戻すことで、この手法を適用する。
• ベースモデルとして Madry et al. が訓練した頑健な ResNet モデルを再利用し、end-to-end の防御に HCNN を適用する。
• 信頼度情報を利用しようとする攻撃を想定した、PGD や CW 攻撃の変種に対して評価する。

実験結果

リサーチクエスチョン

• RQ1 自然データ点の近傍において、adversarially trained モデルの信頼度は、正しい予測と誤った予測を信頼できる指標として機能するか？
• RQ2 信頼度を指標として活用することで、ベースモデルを上回る adversarial robustness を達成できるか？
• RQ3 信頼度と近傍探索を組み合わせることで、低信頼度の adversarial 例を是正する効果はどの程度か？
• RQ4 攻撃半径が大きくなると、現在の adversarial training の定式化にどのような限界が生じるか？
• RQ5 低信頼度領域を標的にする適応的攻撃に対しても、信頼度に基づく防御は有効に機能するか？

主な発見

• 攻撃半径が小さい場合（例：\eta = \xi = 0.010）、HCNN_{\xi} は元々ラベルが変更された 94 個の adversarial 例を正しく分類した一方、信頼度が低下した例についてはたった 27 個しか誤分類しなかった。
• \eta = \xi = 0.015 の場合、HCNN_{\xi} は 114 個のラベル変更済み adversarial 例を正しく予測したが、信頼度低下例についてはたった 20 個の誤分類にとどまった。
• \eta = \xi = 0.010 時に 99.44%、\eta = \xi = 0.015 時に 98.94% のケースで、摂動を加えた点からの予測で正しいラベルが上位2位以内に含まれていた。
• \ell_{\infty} ボール内にランダムノイズが含まれるようになるため、半径が 0.03 に達すると、信頼度を指標とする区別能力が著しく低下する。
• Madry et al. の定式化には2つの主要な限界が特定された：大きな球内での勾配探索の劣化、ノイズに対する過剰正則化。これは、有限サイズの信頼できる領域（trusted regions）の必要性を示唆している。
• 結果から、信頼度を局所的探索と組み合わせることで、生成的多様体ベースの防御とは対照的に、耐性向上に有用な判別的信号としての信頼度が証明的に有用であることが示された。