[論文レビュー] Analyzing the Robustness of Nearest Neighbors to Adversarial Examples

Yizhen Wang, Somesh Jha+1 more|arXiv (Cornell University)|Jun 13, 2017

Adversarial Robustness in Machine Learning参考文献 26被引用数 63

ひとこと要約

この論文は対抗的事例に対する頑健性のためのバイアス-バリアンス風の枠組みを開発し、k-NNを分析して、レジーム依存の頑健性を明らかにし、理論的保証と実証的検証を備えた頑健な1-NNの変種を提案する。

ABSTRACT

Motivated by safety-critical applications, test-time attacks on classifiers via adversarial examples has recently received a great deal of attention. However, there is a general lack of understanding on why adversarial examples arise; whether they originate due to inherent properties of data or due to lack of training samples remains ill-understood. In this work, we introduce a theoretical framework analogous to bias-variance theory for understanding these effects. We use our framework to analyze the robustness of a canonical non-parametric classifier - the k-nearest neighbors. Our analysis shows that its robustness properties depend critically on the value of k - the classifier may be inherently non-robust for small k, but its robustness approaches that of the Bayes Optimal classifier for fast-growing k. We propose a novel modified 1-nearest neighbor classifier, and guarantee its robustness in the large sample limit. Our experiments suggest that this classifier may have good robustness properties even for reasonable data set sizes.

研究の動機と目的

• 敵対的な摂動下での学習に対するバイアス-バリアンス風の枠組み（分布的、有限サンプル、アルゴリズム的頑健性）を導入する。
• 異なる k のレジームにわたる k-NNの頑健性を理論的に分析する。
• 証明可能な頑健性を持つ修正訓練集合上で動作する頑健な1-NNの変種を提案・分析する。
• 複数のデータセットと攻撃で理論的発見を実証的に検証する。

提案手法

• 頑健性の概念を定義する：頑健性半径、分布に対する頑健性、そしてastuteness（鋭敏さ）を定義する。
• 定数の k と Omega( sqrt(d n log n) ) に成長する k の2つのレジームにおける k-NNの頑健性を特徴づける。
• 定数 k の NN は eta(x) ∈ (0,1) の領域では分布的頑健性がゼロであるが、 eta ∈ {0,1} の領域では頑健であることを証明する。
• 十分に大きな k（ Omega(sqrt(d n log n)) ）は、大規模サンプル下で Bayes 最適に近づく頑健性をもたらすことを示す。
• 反対ラベルの点を分離させるよう訓練データを剪定し、分類のための頑健なサブセットを保持することで頑健性を保証する頑健な1-NN変種を導入する。
• 大規模サンプル極限での頑健な1-NNアルゴリズムの性能保証を提供し、その頑健性領域を分析する。

実験結果

リサーチクエスチョン

• RQ1 データ分布ごとに、k-NNの頑健性は k の選択とどのように関係するか。
• RQ2 大規模サンプルで k-NN が Bayes 最適と同等の頑健性を達成できる条件は何か。
• RQ3 証明可能な頑健性保証を備えた実用的な頑健な1-NNの変種を構築できるか。
• RQ4 分布的側面と有限サンプルの側面は、最近傍法の敵対的摂動に対する頑健性にどう影響するか。

主な発見

• 固定された k の場合、 eta(x) が厳密に 0 と 1 の間にある領域では k-NN の分布的頑健性はゼロである。
• k が Omega(sqrt(d n log n)) のように成長すると、分布的頑健性の領域は大規模サンプル極限で Bayes 最適分類器に近づく。
• 最小限の点を削除して r-分離された訓練セットを作成しつつ自信を持ってラベル付けされた例を保持することで頑健性を保証する、頑健な1-NN変種を提案する。
• 頑健な1-NNアルゴリズムは高密度領域や eta(x) が 1/2 から離れて境界に偏らない場合に有利な頑健性保証を達成する。
• Halfmoon、MNIST 1v7、Abalone の実証結果は RobustNN が標準 NN および敵対的訓練を受けた NN のベースラインを、いくつかの white-box および black-box 攻撃下で上回り、データ密度と次元性に依存する性能を示した。