[論文レビュー] PAC-learning in the presence of evasion adversaries

Daniel Cullina, Arjun Nitin Bhagoji+1 more|arXiv (Cornell University)|Jun 5, 2018

Adversarial Robustness in Machine Learning参考文献 56被引用数 20

ひとこと要約

この論文は、悪意ある摂動を伴うテスト入力に対して耐性を持つ学習の枠組みを拡張し、敵対的VC次元の概念を導入することで、悪意ある回避攻撃を考慮したPAC学習に拡張している。敵対的摂動が存在する状況下での標本複雑性を特徴付けるものであり、ノルム制約を課された敵対的攻撃下でのハーフスペース分類器に関して、敵対的VC次元が標準VC次元と等しいことを証明しており、未解決の問題を解決するとともに、ロバストな学習が本質的により多くのデータを必要としないことを示している。

ABSTRACT

The existence of evasion attacks during the test phase of machine learning algorithms represents a significant challenge to both their deployment and understanding. These attacks can be carried out by adding imperceptible perturbations to inputs to generate adversarial examples and finding effective defenses and detectors has proven to be difficult. In this paper, we step away from the attack-defense arms race and seek to understand the limits of what can be learned in the presence of an evasion adversary. In particular, we extend the Probably Approximately Correct (PAC)-learning framework to account for the presence of an adversary. We first define corrupted hypothesis classes which arise from standard binary hypothesis classes in the presence of an evasion adversary and derive the Vapnik-Chervonenkis (VC)-dimension for these, denoted as the adversarial VC-dimension. We then show that sample complexity upper bounds from the Fundamental Theorem of Statistical learning can be extended to the case of evasion adversaries, where the sample complexity is controlled by the adversarial VC-dimension. We then explicitly derive the adversarial VC-dimension for halfspace classifiers in the presence of a sample-wise norm-constrained adversary of the type commonly studied for evasion attacks and show that it is the same as the standard VC-dimension, closing an open question. Finally, we prove that the adversarial VC-dimension can be either larger or smaller than the standard VC-dimension depending on the hypothesis class and adversary, making it an interesting object of study in its own right.

研究の動機と目的

• 敵対的攻撃者がテスト入力を人間が認識できない程度に摂動できる状況下で、PAC学習の根本的限界を理解すること。
• 回避的敵対的攻撃が教師あり学習における仮説クラスの複雑性と標本複雑性に与える影響を形式化すること。
• ハーフスペース分類器が敵対的条件下でより多くの訓練データを必要とするかどうかという未解決の問題を解明すること。
• 異なる仮説クラスおよび敵対的制約の下で、敵対的VC次元と標準VC次元の関係を特徴づけること。

提案手法

• 標準の仮説クラスが敵対的入力摂動の下でどのように変化するかをモデル化する、壊れた仮説クラスの概念を導入する。
• 与えられた敵対的モデル下での壊れた仮説クラスのVC次元として、敵対的VC次元を定義する。
• 統計的学習の基本定理を適用し、敵対的VC次元を用いて標本複雑性の上界を導出する。
• 標本単位のノルム制約付き敵対的攻撃（例：ℓp有界摂動）下でのハーフスペース分類器のケースを分析し、敵対的VC次元が標準VC次元と等しいことを証明する。
• 敵対的VC次元が標準VC次元よりも大きいか、または小さいかを示す明示的な例を構築し、その非単調な振る舞いを示す。
• 組合せ的議論と誤差パターン解析を用いて、特定の仮説クラスに対する敵対的VC次元の下界を確立する。

実験結果

リサーチクエスチョン

• RQ1 回避的敵対的攻撃が存在する場合、ハーフスペース分類器のPAC学習に必要な標本複雑性が増加するか？
• RQ2 異なる仮説クラスおよび敵対的制約の下で、敵対的VC次元と標準VC次元の関係は何か？
• RQ3 統計的学習の基本定理は、敵対的入力摂動が存在する状況に拡張可能か？
• RQ4 敵対的VC次元が標準VC次元よりも厳密に大きい、または小さい仮説クラスは存在するか？
• RQ5 敵対的条件下でのロバスト分類器の学習可能性を理解する理論的基盤は何か？

主な発見

• 標本単位のノルム制約付き敵対的攻撃下での、すべてのハーフスペース分類器の敵対的VC次元は、標準VC次元と等しく、Schmidtらが提起した未解決問題を解決している[65]。
• 敵対的回避攻撃が存在する状況下でのPAC学習の標本複雑性は、敵対的VC次元の関数によって上界で抑えられることを示し、統計的学習の基本定理を敵対的設定に拡張した。
• 壊れた分類器族が敵対的影響下ですべての2^d通りの誤差パターンを達成できる構成例により、敵対的VC次元が標準VC次元よりも厳密に小さいことも示された。
• 敵対的VC次元が標準VC次元よりも厳密に大きい例も示され、敵対的攻撃が特定の状況下で仮説クラスの複雑性を増加させることを示した。
• 本フレームワークは、特定のデータ分布に依存しない理論的基盤を提供し、ロバストネスと標本複雑性の両方の分析に役立つ。
• 結果から、ハーフスペース分類器に関しては、敵対的攻撃下でも標本複雑性のペナルティが本質的に発生しないことが示され、攻撃下での学習非効率性に関する仮定に疑問を呈している。