[論文レビュー] HopSkipJumpAttack: A Query-Efficient Decision-Based Attack

Jianbo Chen, Michael I. Jordan+1 more|arXiv (Cornell University)|Apr 3, 2019

Adversarial Robustness in Machine Learning参考文献 31被引用数 69

ひとこと要約

この論文は HopSkipJumpAttack を導入する。決定境界での勾配方向を二項情報を用いて推定する決定ベースの攻撃群であり、l2 および linf ノルム下で無標的および標的攻撃に対して高いクエリ効率を達成する。

ABSTRACT

The goal of a decision-based adversarial attack on a trained model is to generate adversarial examples based solely on observing output labels returned by the targeted model. We develop HopSkipJumpAttack, a family of algorithms based on a novel estimate of the gradient direction using binary information at the decision boundary. The proposed family includes both untargeted and targeted attacks optimized for $\ell_2$ and $\ell_\infty$ similarity metrics respectively. Theoretical analysis is provided for the proposed algorithms and the gradient direction estimate. Experiments show HopSkipJumpAttack requires significantly fewer model queries than Boundary Attack. It also achieves competitive performance in attacking several widely-used defense mechanisms. (HopSkipJumpAttack was named Boundary Attack++ in a previous version of the preprint.)

研究の動機と目的

• 予測ラベルのみが利用可能な決定ベースの脅威モデルの下で、モデルの堅牢性評価を動機づける。
• 境界情報のみを用いて敵対的例を作成する勾配方向推定法を開発する。
• 証明可能な収束性を有する無標的（l2）および標的付き（linf）攻撃のファミリーを創出する。
• 一般的な防御法に対して、クエリ複雑さを低減し競争力のある堅牢性評価を示す。
• 研究者が防御の初期段階の堅牢性評価ツールとしてこの攻撃を利用するための実用的な指針を提供する。

提案手法

• 決定ベースの攻撃を境界指標 S_x*(x) を用いた最適化問題として定式化する。
• 境界射影、勾配方向推定、およびステップサイズ探索を交互に行う反復アルゴリズム（HopSkipJumpAttack）を提案する。
• バイナリクエリのモンテカルロ平均を用いて、境界で新規の漸近的に非偏的な勾配方向推定量を導出する。
• 決定境界に近づくための二分探索手法と、ステップサイズ調整のための等比進行を導入する。
• 対応する射影/更新規則を介して、ell2 および ell-infinity 距離の両方に方法を拡張する。
• 勾配推定の安定性を向上させるために分散削減のベースラインを組み込む。

実験結果

リサーチクエスチョン

• RQ1 決定ベースの攻撃はラベル出力のみを用いて効率的に敵対的例を作成できるか。
• RQ2 二値フィードバックで決定境界における勾配方向をどのように推定できるか。
• RQ3 提案手法 HopSkipJumpAttack の ell2 および ell-infinity 指標下での収束保証とクエリ複雑性は何か。
• RQ4 一般的な防御に対する攻撃の性能は、ベースラインの決定ベース手法と比較してどうか。

主な発見

• HopSkipJumpAttack は複数のデータセットに渡って、Boundary Attack、Opt Attack、Limited Attack よりもはるかに少ないモデルクエリで達成する。
• 提案された勾配方向推定は境界で漸近的に偏りがなく、境界ベースの最適化を可能にする。
• アルゴリズムは ell2 および ell-infinity 指標下で、無標的および標的設定において競争力のあるまたは優れた成功率と摂動距離を達成する。
• 実証結果は、防御として防御蒸留、領域ベース分類、敵対的トレーニング、入力2値化などに対する堅牢性評価を示す。
• 本手法は実用的でハイパーパラメータが少なく、第一段階の堅牢性評価ツールとして適している。