[論文レビュー] Defending Against Adversarial Examples with K-Nearest Neighbor

Chawin Sitawarin, David Wagner|arXiv (Cornell University)|Jun 23, 2019

Adversarial Robustness in Machine Learning参考文献 35被引用数 17

ひとこと要約

この論文は、中間ニューラルネットワーク活性化を用いたk近傍法（kNN）ベースの防御を提案し、l2ノルムの摂動に対する敵対的例に対する耐性を向上させる。MNISTおよびCIFAR-10において最先端の性能を達成し、それぞれモデルをだませるのに平均3.07および2.30の摂動ノルムが必要である。また、Lipschitz正則化された表現における1-NNを用いて、敵対的摂動のサイズに対する証明可能な下界を導出する。

ABSTRACT

Robustness is an increasingly important property of machine learning models as they become more and more prevalent. We propose a defense against adversarial examples based on a k-nearest neighbor (kNN) on the intermediate activation of neural networks. Our scheme surpasses state-of-the-art defenses on MNIST and CIFAR-10 against l2-perturbation by a significant margin. With our models, the mean perturbation norm required to fool our MNIST model is 3.07 and 2.30 on CIFAR-10. Additionally, we propose a simple certifiable lower bound on the l2-norm of the adversarial perturbation using a more specific version of our scheme, a 1-NN on representations learned by a Lipschitz network. Our model provides a nontrivial average lower bound of the perturbation norm, comparable to other schemes on MNIST with similar clean accuracy.

研究の動機と目的

• 画像分類におけるl2摂動に対する敵対的例に対するモデルの耐性を向上させること。
• 中間ニューラルネットワーク表現を活用して一般化性能を向上させる防御メカニズムを開発すること。
• Lipschitz正則化された特徴量上の1-NNを用いて、敵対的摂動のl2ノルムに対する証明可能な下界を提供すること。
• 標準ベンチマークで高いクリーン精度を維持しながら、既存の防御を上回る耐性を達成すること。

提案手法

• 防御は、ニューラルネットワークの中間層活性化に基づくk-NN分類を用いて、敵対的入力を検出および緩和する。
• Lipschitz正則化されたネットワークからの表現に対して1-NNの変種を適用し、敵対的摂動のl2ノルムに対する証明可能な下界を導出する。
• 入力が敵対的かどうかを、活性化空間内の距離に基づいて決定する。k=1またはk>1は、バージョンに応じて異なる。
• アプローチはエンドツーエンドで訓練され、ベース分類器の再訓練を必要とせず、即座に統合可能な耐性を実現する。
• Lipschitz制約により、入力の微小な摂動が出力に有界な変化を引き起こすことが保証され、形式的な耐性保証が可能になる。
• 防御は、MNISTおよびCIFAR-10におけるl2摂動攻撃の下で評価され、だませる摂動ノルムと証明可能な下界が測定される。

実験結果

リサーチクエスチョン

• RQ1 中間ニューラル活性化におけるk-NNは、標準的なビジョンベンチマークにおけるl2摂動に対する敵対的例に対して効果的に防御できるか？
• RQ2 k-NNによる表現に基づく防御を用いたモデルをだませるために必要な最小のl2ノルムの敵対的摂動はどの程度か？
• RQ3 Lipschitz正則化された特徴量上の1-NNは、敵対的耐性に対する証明可能な下界を提供できるか？
• RQ4 提案された防御は、MNISTおよびCIFAR-10における最先端の防御と比較して、耐性と精度の両面で優れているか？
• RQ5 中間表現の使用は、標準的な敵対的訓練と比較して、一般化と耐性の両面で向上をもたらすか？

主な発見

• kNNベースの防御は、MNISTモデルをだませるために平均3.07の摂動ノルムが必要であり、以前の最先端の防御を著しく上回る。
• CIFAR-10では、モデルをだませるために平均2.30の摂動ノルムが必要であり、l2攻撃に対して強い耐性を示している。
• この手法は、敵対的摂動のl2ノルムに対する非自明な証明可能な下界を提供しており、類似したクリーン精度を持つMNISTにおける他の手法と同等の性能を示している。
• Lipschitz正則化された特徴量上の1-NNの変種により、距離に基づく認証によって形式的な耐性保証が可能になった。
• 高いクリーン精度を維持しながら耐性を著しく向上させていることから、敵対的入力への一般化が効果的に行われていることが示された。
• 結果から、中間表現が耐性に有効であることが明らかになった。標準的な敵対的訓練よりも、だませる閾値が優れている。