[論文レビュー] Robustness for Non-Parametric Classification: A Generic Attack and Defense

Yao-Yuan Yang, Cyrus Rashtchian+2 more|arXiv (Cornell University)|Jun 7, 2019

Adversarial Robustness in Machine Learning参考文献 57被引用数 6

ひとこと要約

本稿では、k-NN、決定木、ランダムフォレストなどの非パrametric分類器向けに、汎用的防御である adversarial pruning と領域ベースの攻撃を導入する。訓練データを事前処理することでクラス分離性を向上させることで、adversarial pruning は複数のモデルにおいて堅牢性を向上させる。一方、領域ベースの攻撃は凸計画法を用いて最小の摂動で最適な adversarial 例を特定する。従来の攻撃を上回り、非パrametric学習のための新たなベースラインを確立する。

ABSTRACT

Adversarially robust machine learning has received much recent attention. However, prior attacks and defenses for non-parametric classifiers have been developed in an ad-hoc or classifier-specific basis. In this work, we take a holistic look at adversarial examples for non-parametric classifiers, including nearest neighbors, decision trees, and random forests. We provide a general defense method, adversarial pruning, that works by preprocessing the dataset to become well-separated. To test our defense, we provide a novel attack that applies to a wide range of non-parametric classifiers. Theoretically, we derive an optimally robust classifier, which is analogous to the Bayes Optimal. We show that adversarial pruning can be viewed as a finite sample approximation to this optimal classifier. We empirically show that our defense and attack are either better than or competitive with prior work on non-parametric classifiers. Overall, our results provide a strong and broadly-applicable baseline for future work on robust non-parametrics. Code available at https://github.com/yangarbiter/adversarial-nonparametrics/ .

研究の動機と目的

• k-NN、決定木、ランダムフォレストなどの非パrametric分類器における汎用的で原理的根拠のある攻撃と防御の欠如に対処すること。
• 特に入力空間におけるクラス分離の役割を含め、非パrametric手法における堅牢性の背後にある一般原則を特定すること。
• 分類器固有のチューニングを必要とせず、多様な非パrametricモデルに効果的に適用可能な防御を構築すること。
• provably optimal 攻撃と r-最適分類器の有限標本近似を導入することで、非パrametric学習における堅牢性の評価に新たなベンチマークを確立すること。

提案手法

• Adversarial pruning は、クラス間分離性を最大化するために最小限の点の集合を削除することで訓練データを事前処理し、入力空間においてクラスが明確に分離されるようにする。
• 領域ベースの攻撃は、与えられた入力に対して異なるクラスの Voronoi セルまたは多面体領域に最も近いものを特定し、凸最適化を用いて最小摂動を同定する。
• 計算コストが高くなる場合のためのヒューリスティックな近似を用いて、近似的に最適な adversarial 例を効率的に特定する。
• 理論的分析により、robustness radius r における「機敏性（astuteness）」を最大化する r-optimal 分類器を導入し、adversarial pruning がこの最適分類器の有限標本近似であることを示す。
• この手法は学習の前処理として普遍的に適用可能であり、k-NN、決定木、ランダムフォレストを含む任意の非パrametric分類器と互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 k-NN、決定木、ランダムフォレストに広く効果を発揮する、非パrametric分類器向けの汎用的防御を設計できるか？
• RQ2 非パrametric分類器の幾何学的・構造的性質のうち、ユニバーサル adversarial 攻撃を構築可能にする要因は何か？
• RQ3 Bayes 最適分類器に類似した理論的最適な堅牢分類器が非パrametric手法において存在するか？
• RQ4 Adversarial pruning は、最適な堅牢分類器の有限標本近似として解釈できるか？

主な発見

• Adversarial pruning は、k-NN、決定木、ランダムフォレストのあらゆるモデルで一貫して堅牢性を向上させ、いくつかのデータセットでは adversarial training を上回る性能を示す。
• 領域ベースの攻撃は、異なるクラスの多面体領域における最近傍点を凸計画法で特定することで、非パrametricモデルにおける最適な adversarial 例を同定する。
• 摂動の大きさにおいて従来の攻撃を上回り、より小さな摂動で高い adversarial 成功率を達成する。
• Adversarial pruning が、robustness radius r における機敏性を最大化する r-optimal 分類器の有限標本近似であることが示された。
• 提案された防御と攻撃は、非パrametric学習における堅牢性評価の強力で汎用的なベースラインを提供し、パラメトリック設定における adversarial training や PGD と同等の水準に達している。