[論文レビュー] Adequacy of the Gradient-Descent Method for Classifier Evasion Attacks

Yi Han, Benjamin I. P. Rubinstein|arXiv (Cornell University)|Apr 6, 2017

Adversarial Robustness in Machine Learning参考文献 35被引用数 3

ひとこと要約

この論文は、RBF-SVMに対する adversarial samples の生成に勾配降下法を評価し、核関数の滑らかさが低下する（γが小さい）ことでモデルのロバスト性が著しく向上することを示している。本稿では、攻撃成功度と入力摂動の効率性において標準的勾配降下法を上回る、新たな勾配商法を提案するとともに、攻撃実行前のモデルの脆弱性を評価する幾何的マージンに類似した予測指標も提案している。

ABSTRACT

Despite the wide use of machine learning in adversarial settings including computer security, recent studies have demonstrated vulnerabilities to evasion attacks---carefully crafted adversarial samples that closely resemble legitimate instances, but cause misclassification. In this paper, we examine the adequacy of the leading approach to generating adversarial samples---the gradient descent approach. In particular (1) we perform extensive experiments on three datasets, MNIST, USPS and Spambase, in order to analyse the effectiveness of the gradient-descent method against non-linear support vector machines, and conclude that carefully reduced kernel smoothness can significantly increase robustness to the attack; (2) we demonstrate that separated inter-class support vectors lead to more secure models, and propose a quantity similar to margin that can efficiently predict potential susceptibility to gradient-descent attacks, before the attack is launched; and (3) we design a new adversarial sample construction algorithm based on optimising the multiplicative ratio of class decision functions.

研究の動機と目的

• RBF-SVMに対する adversarial samples の生成における勾配降下法の有効性と限界を体系的に評価すること。
• 核関数の滑らかさ（γによって制御される）が、勾配ベースの回避攻撃に対するモデルのロバストネスに与える影響を調査すること。
• 勾配降下攻撃に対して脆弱なモデルと関連するサポートベクトルの幾何的性質を同定すること。
• 攻撃成功度を向上させるとともに入力摂動を低減する、新たな adversarial sample 生成手法の開発と検証すること。

提案手法

• 入力特徴を繰り返し変更することで分類誤差を最大化する勾配降下法を用い、意思決定関数の勾配を利用して adversarial samples を生成する。
• 上位クラスの意思決定スコアとターゲットクラススコアの比を最適化する、新たな攻撃手法「勾配商法」を提案し、より効果的な回避を可能にする。
• クラス間サポートベクトル間の距離とマージンに類似した性質に基づく幾何的指標を導入し、展開前のモデルの攻撃への感受性を予測する。
• 攻撃成功度とフェーズ遷移を分析するために、MNIST、USPS、Spambase データセットを用い、γ値を変化させたRBF-SVMで実験を実施する。
• 攻撃の一般化性を検証するため、同一RBF-SVM内（intra-model）およびRBF-SVMからRBFニューラルネットワークへの（inter-model）設定で、攻撃の転送性を評価する。
• 模倣攻撃のため、直接的に最終ターゲットクラス（例：'0'）を狙うのではなく、中間クラス（例：'6'）を最初に誤分類する2段階の間接的手法を用い、成功率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 勾配降下法はRBF-SVMの回避において構造的な限界を有しており、そのような限界が生じる条件は何か？
• RQ2 核関数の精度パラメータγが、RBF-SVMに対する勾配ベースの回避攻撃の成功率に与える影響は何か？
• RQ3 マージンやクラス間サポートベクトル距離に関連する幾何的測度は、勾配降下攻撃に対するモデルの脆弱性を予測できるか？
• RQ4 提案された勾配商法は、多クラス状況における標準的勾配降下法よりも、adversarial samples の生成においてより効果的か？
• RQ5 RBF-SVMからRBFニューラルネットワークへの攻撃の転送性は、異なるモデルタイプ間で達成可能か？

主な発見

• 特定のγ値において攻撃成功度にフェーズ遷移が観察され、γが小さい（核関数の滑らかさが低い）ほど、勾配降下攻撃に対するロバストネスが著しく向上する。
• 提案された勾配商法は、特に多クラスおよび模倣攻撃の状況で、標準的勾配降下法よりも高い攻撃成功度を達成する。
• RBF-SVMに対する勾配商法の、モデル間転送性テストにおける成功度は61.3％から69.1％の範囲にあり、異なるモデルタイプ間での強い一般化性を示している。
• 模倣攻撃において、最終ターゲットクラス（例：'0'）を直接狙うのではなく中間クラス（例：'6'）を最初に誤分類する間接的手法を採用したところ、全体の成功度が2倍に上昇し、第1段階では100％の成功を達成し、最終的な誤分類率も向上した。
• クラス間サポートベクトル距離に基づく提案された幾何的脆弱性予測指標は、モデルの感受性と強く相関しており、攻撃リスクの事前評価を可能にする。
• RBF-SVM間での攻撃転送性（intra-model）は、65％以上の成功度を示し、一部のモデルでは100％に達しており、同じモデルファミリー内での攻撃転送性が強いことが示された。