[論文レビュー] Adversarial Examples for Non-Parametric Methods: Attacks, Defenses and Large Sample Limits.

Yao-Yuan Yang, Cyrus Rashtchian+2 more|arXiv (Cornell University)|Jun 7, 2019

Adversarial Robustness in Machine Learning被引用数 10

ひとこと要約

本論文は、k-NN、意思決定木、ランダムフォレストなどの非パラメトリック分類器向けの一般化された防御手法である adversarial pruning を導入する。この手法は、分類の分離性を向上させるためにデータを事前処理する。本論文では、これらのモデルに適用可能な新しい攻撃を提案し、理論的に最適に頑健な分類器を導出し、有限標本における adversarial pruning がこの理想解に近似できることを示し、従来の手法を上回る頑健性を示す。

ABSTRACT

Adversarially robust machine learning has received much recent attention. However, prior attacks and defenses for non-parametric classifiers have been developed in an ad-hoc or classifier-specific basis. In this work, we take a holistic look at adversarial examples for non-parametric classifiers, including nearest neighbors, decision trees, and random forests. We provide a general defense method, adversarial pruning, that works by preprocessing the dataset to become well-separated. To test our defense, we provide a novel attack that applies to a wide range of non-parametric classifiers. Theoretically, we derive an optimally robust classifier, which is analogous to the Bayes Optimal. We show that adversarial pruning can be viewed as a finite sample approximation to this optimal classifier. We empirically show that our defense and attack are either better than or competitive with prior work on non-parametric classifiers. Overall, our results provide a strong and broadly-applicable baseline for future work on robust non-parametrics. Code available at this https URL .

研究の動機と目的

• 非パラメトリック分類器に対して一般的で原理的であるが、これまでにありきたりな方法や分類器固有の方法で開発されてきた防御法・攻撃法の欠如に対処すること。
• k-最近傍法、意思決定木、ランダムフォレストを含む多様な非パラメトリックモデルに適用可能な統一された防御戦略を開発すること。
• 標準分類におけるベイズ最適分類器に類似した理論的基準を提供する、非パラメトリック学習における敵対的頑健性の理論的ベンチマークを確立すること。
• adversarial pruning が非パラメトリックモデルの先行研究と比較して、競争的または優れた頑健性を示すことを実証的に検証すること。

提案手法

• adversarial pruning を、敵対的例や摂動を加えた点を学習データから削除することで分離性を向上させる前処理防御として提案する。
• 幅広い非パラメトリック分類器に適用可能な、新規の汎用的攻撃を導入し、モデル間の一貫性のある評価を可能にする。
• 理論的分析を用いて、非パラメトリック学習における最適に頑健な分類器を導出し、標準分類におけるベイズ最適分類器に類似したものとする。
• adversarial pruning が理論的に最適な分類器の有限標本近似であることを示し、防御と理論の間の原理的つながりを提供する。
• 標準的な非パラメトリックモデルを用いた実証的評価により、新しい攻撃に対する先行手法との頑健性を比較する。

実験結果

リサーチクエスチョン

• RQ1 k-最近傍法、意思決定木、ランダムフォレストなどの非パラメトリック分類器に対して、特定のモデルアーキテクチャに特化しない一般化された防御を構築できるか？
• RQ2 adversarial pruning は、k-NN、意思決定木、ランダムフォレストにおいて、先行防御と比較してどの程度の頑健性を示すか？
• RQ3 敵対的摂動下での理論的最適非パラメトリック分類器は何か？ そして、実用的状況でどのように近似できるか？
• RQ4 提案された攻撃は、さまざまな非パラメトリックモデルにどの程度一般化されるか？
• RQ5 adversarial pruning は、最適な頑健な分類器の有限標本近似として解釈できるか？

主な発見

• adversarial pruning は、k-NN、意思決定木、ランダムフォレストの敵対的例に対する頑健性を顕著に向上させる。
• 提案された攻撃は、複数の非パラメトリックモデルに効果的に一般化され、防御の一貫性ある評価を可能にする。
• 理論的に導出された最適分類器は、非パラメトリック学習における敵対的頑健性のベンチマークを提供する。
• 実証的に、adversarial pruning は非パラメトリックモデルの先行防御と比較して、競争的または優れた頑健性を示す。
• この防御法は、理論的に最適な分類器の有限標本近似として正当化され、その有効性に理論的根拠を与える。