[論文レビュー] Query-limited Black-box Attacks to Classifiers

Fnu Suya, Yuan Tian+2 more|arXiv (Cornell University)|Dec 23, 2017

Adversarial Robustness in Machine Learning参考文献 15被引用数 14

ひとこと要約

本稿では、各クエリが高コストである機械学習分類器を標的とする、クエリコストを最小限に抑えたベイジアン最適化（BO）ベースのブラックボックス攻撃戦略を提案する。攻撃を制約付き最適化問題としてモデル化し、BOを用いて知的にクエリポイントを選択することで、ランダムサーチと比較してクエリ回数を最大90％削減し、特に特徴量の変更予算が低い状況で顕著な効果を示す。

ABSTRACT

We study black-box attacks on machine learning classifiers where each query to the model incurs some cost or risk of detection to the adversary. We focus explicitly on minimizing the number of queries as a major objective. Specifically, we consider the problem of attacking machine learning classifiers subject to a budget of feature modification cost while minimizing the number of queries, where each query returns only a class and confidence score. We describe an approach that uses Bayesian optimization to minimize the number of queries, and find that the number of queries can be reduced to approximately one tenth of the number needed through a random strategy for scenarios where the feature modification cost budget is low.

研究の動機と目的

• 各モデルクエリにコストや検知リスクが伴うブラックボックス敵対的攻撃におけるクエリ相互作用の最小化という課題に対処すること。
• 特徴量の変更コスト制限を満たす条件下でクエリ数を最小化する制約付き最適化問題として攻撃生成を定式化すること。
• ニューラルネットワークやSVMを含む任意の連続的分類器に適用可能な汎用的攻撃戦略を開発すること。
• 特にコスト予算が厳しい状況下で、ランダムサーチに比べて顕著なクエリ効率の向上を示すこと。
• スパムフィルタリングなど、クエリ送信が高コストまたは検知可能な実世界の設定において実用的な敵対的攻撃を可能にすること。

提案手法

• 攻撃生成を制約付き最適化問題として定式化：クエリ数Q(x)を最小化し、f(x) ≠ f(xA) かつ ||x − xA||₁ ≤ C を満たす。
• 獲得関数を用いて反復的に有望なクエリポイントを選択することで、ベイジアン最適化（BO）を用いて効率的な敵対的例探索を実行する。
• 未知の分類器関数をモデル化するためのガウス過程事前分布を用い、各クエリ後に信念を更新する。
• 不確実性が高く（探索）かつ元のクラスに対する予測信頼度が低い（活用）箇所をバランスさせる獲得関数を定義する。
• 成功した敵対的例が見つかった、またはクエリ制限に達した時点で探索を終了する。
• 目的関数を変更することで、未ターゲット攻撃とターゲット攻撃の両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン最適化は、ブラックボックス環境下で敵対的例を生成するために必要なクエリ数を顕著に削減できるか？
• RQ2 特徴量の変更コスト予算が低い状況下で、提案されたBOベース攻撃はランダムサーチに比べてどの程度効果を発揮するか？
• RQ3 線形SVM、RBF-SVM、ANNなどの異なる種類の分類器において、BOベース手法のクエリ効率はどの程度保持されるか？
• RQ4 特徴量の変更コスト予算を変化させた場合、この手法のクエリ効率はどのようにスケーリングするか？
• RQ5 本手法は、テキストベースのスパム検出を越えた他のブラックボックス攻撃シナリオにも一般化可能か？

主な発見

• BOベース攻撃は、ランダムサーチと比較して平均クエリ数を最大90％削減し、特に特徴量の変更コスト予算が低い状況で顕著な効果を示す。
• C = 10のANN分類器において、BO法は平均16クエリで最初の成功した敵対的例を発見したが、ランダムサーチでは400クエリ以上を要した。
• BOの性能向上は、特にコスト予算が厳しい領域で顕著であり、この領域ではランダムサーチがクエリ制限内で敵対的例を発見できないことも多い。
• 線形SVM、RBF-SVM、ANNのすべてのテスト済み分類器において一貫したクエリ削減が達成されており、一般化可能性が裏付けられた。
• クエリ数を50回まで保守的に見積もった結果、実際の性能向上は報告値よりもさらに大きい可能性がある。なぜなら、多くの場合、制限に達する前にも収束しているからである。
• 未ターゲット攻撃とターゲット攻撃の両方で本手法は有効であり、目的関数を簡単に調整することで特定のクラスを標的にできる。