[論文レビュー] Adversarial Learning: A Critical Review and Active Learning Study

David J. Miller, Xinyi Hu+2 more|arXiv (Cornell University)|May 27, 2017

Adversarial Robustness in Machine Learning参考文献 19被引用数 6

ひとこと要約

本稿では、意思決定境界付近に誤ったサンプルを注入する adversarial 攻撃に対して防御するため、アクティブラーニングにおけるミックスドサンプリング戦略を提示している。実験的に、不確実性サンプリングと最大期待効用（MEU）サンプリングを組み合わせることで、攻撃下におけるロバストネスが向上することを示しており、MNIST ディジット分類において p=0.75 が最も安定的かつ正確な収束を達成している。

ABSTRACT

This papers consists of two parts. The first is a critical review of prior art on adversarial learning, identifying some significant limitations of previous works. The second part is an experimental study considering adversarial active learning and an investigation of the efficacy of a mixed sample selection strategy for combating an adversary who attempts to disrupt the classifier learning.

研究の動機と目的

• アクティブラーニングが意思決定境界付近に注入された誤ったサンプルによって性能が低下する脆弱性を調査すること。
• このような adversarial マニピュレーションに対して、ミックスドサンプル選択戦略の有効性を評価すること。
• adversarial 条件下におけるアクティブラーニングにおけるロバストネスと収束正確性のトレードオフを分析すること。
• 攻撃パターンやラベル付き adversarial 例の事前知識がなくても、防御メカニズムを実現できるかを検討すること。

提案手法

• 不確実性サンプリング（p=0）と最大期待効用（MEU、p=1）を組み合わせたミックスド戦略を提案し、探索と活用のバランスを調整するパrameter p でパrameter化する。
• MNIST データ上で訓練された線形SVM分類器を用い、数字「5」と「6」を区別するためのテストベッドとして用いる。
• 既存の訓練サンプルおよび未ラベルサンプルを現在の意思決定境界に射影することで adversarial サンプルを生成し、曖昧で境界を越える例を生成する。
• オラクル（完全なデータセットで訓練されたSVM）を用いて adversarial サンプルを客観的にラベル付けし、最大マージン分離と整合性を保つ。
• 10回のランダムな試行を実施し、平均テスト誤差を指標として用い、攻撃ありおよび攻撃なしの両条件での戦略を比較評価する。
• 収束行動および異なる戦略のクラスバランスへの影響を分析し、特に MEU のクラスバイアスサンプリング傾向に注目する。

Figure 1 : Candidate adversarial samples (green dots on the boundary)

実験結果

リサーチクエスチョン

• RQ1 アクティブラーニングにおける不確実性サンプリングは、意思決定境界付近に adversarial データインジェクションに対してどれほど脆弱であるか？
• RQ2 攻撃パターンの事前知識がなくても、不確実性と MEU サンプリングのミックスド戦略が adversarial 攻撃に対するロバストネスを向上させられるか？
• RQ3 混合パrameter p を変化させた場合、攻撃下におけるアクティブラーニングの正確性および収束安定性にどのような影響を与えるか？
• RQ4 MEU サンプリングはクラスバランスの不均衡により最適でない意思決定境界を生成する傾向があるか？そして、ハイブリッド戦略によってこれを緩和できるか？
• RQ5 adversarial 条件下において、ランダムサンプリングの性能は適応的戦略と比べてどうなるか？

主な発見

• 不確実性サンプリング（p=0）は adversarial 攻撃に対して極めて脆弱であり、攻撃下で一貫して注入された adversarial サンプルを選択し、最も悪い性能を示している。
• MEU サンプリング（p=1）は初期段階での誤差低減が速いが、特に攻撃下ではクラスバイアスサンプリングのため、最適でない意思決定境界に収束する。
• p ∈ [0.25, 0.75] のミックスド戦略は攻撃下で単調に性能が向上し、p=0.75 が最も安定的かつ正確な収束を達成している。
• ランダムサンプリング戦略は攻撃に対してロバストであるが、攻撃なしでは収束が高精度に到達しないことが示され、学習効率の悪さが判明した。
• 攻撃なしの状況では、すべてのミックスド戦略が同様の性能を示しており、防御メカニズムが攻撃状況下でのみ利点を発揮することを確認した。
• 攻撃は、低次元の合成例と比較して、MNIST のような高次元設定において学習プロセスの遅延を顕著に引き起こしており、現実世界における脅威の深刻さを示している。

Figure 2 : Classifier decision boundary after initial training and after 9 queries without attack (dash lines) and with attack (solid lines).