[論文レビュー] GeoDA: a geometric framework for black-box adversarial attacks

Ali Rahmati, Seyed-Mohsen Moosavi-Dezfooli+2 more|arXiv (Cornell University)|Mar 13, 2020

Adversarial Robustness in Machine Learning参考文献 32被引用数 7

ひとこと要約

GeoDAは、深層ニューラルネットワークの意思決定境界の低平均曲率を活用して、少数のクエリで法線ベクトルを推定する幾何学的フレームワークを提案する。ℓp-ノルムの摂動（p ≥ 1）を最小化することで、最先端の性能を達成し、理論的に最小のℓ2-摂動に収束し、反復処理におけるクエリ配分を最適化する。

ABSTRACT

Adversarial examples are known as carefully perturbed images fooling image classifiers. We propose a geometric framework to generate adversarial examples in one of the most challenging black-box settings where the adversary can only generate a small number of queries, each of them returning the top-$1$ label of the classifier. Our framework is based on the observation that the decision boundary of deep networks usually has a small mean curvature in the vicinity of data samples. We propose an effective iterative algorithm to generate query-efficient black-box perturbations with small $\ell_p$ norms for $p \ge 1$, which is confirmed via experimental evaluations on state-of-the-art natural image classifiers. Moreover, for $p=2$, we theoretically show that our algorithm actually converges to the minimal $\ell_2$-perturbation when the curvature of the decision boundary is bounded. We also obtain the optimal distribution of the queries over the iterations of the algorithm. Finally, experimental results confirm that our principled black-box attack algorithm performs better than state-of-the-art algorithms as it generates smaller perturbations with a reduced number of queries.

研究の動機と目的

• 上位1つのラベルのみが利用可能な、最も現実的なブラックボックス設定において、敵対的例を生成する課題に対処すること。
• 実世界での展開において深刻なボトルネックとなる、効果的な敵対的摂動を生成するために必要なクエリ数を削減すること。
• データポイント付近での意思決定境界の曲率が低いという幾何的性質を活用して、クエリ効率を向上させること。
• ℓp-ノルムの敵対的攻撃（p ≥ 1）に対して、原則的かつ数学的に裏付けられた手法を開発すること、特にℓ2に対して収束保証を提供すること。
• 転送性や部分空間制約などの事前情報を統合して、攻撃の効率性と正確性をさらに高めること。

提案手法

• 境界点の周囲にガウスノイズを用いた少数のクエリにより、意思決定境界の法線ベクトルを推定する。
• データサンプル付近ではその平均曲率が小さいという観察に基づき、意思決定境界の線形近似を用いる。
• 推定された法線方向に境界に近づくように反復的に摂動ノルムを小さくする攻撃戦略を定式化する。
• 期待される摂動ノルムを最小化する理論的境界を用いて、反復処理におけるクエリ配分を最適化する。
• 事前知識（例：サロゲートモデルからの転送性、DCT部分空間制約）を統合し、法線ベクトル推定をより正確な方向へバイアスする。
• ℓ2攻撃の場合、境界曲率が有界である場合に最小摂動に収束することを証明し、本手法の最適性に対する理論的裏付けを提供する。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークの意思決定境界における低曲率という幾何的性質を活用することで、ブラックボックス攻撃におけるクエリ複雑度を低減できるか？
• RQ2 上位1ラベルのフィードバックのみで、意思決定境界の法線ベクトルを効率的に推定できるか？
• RQ3 反復的ブラックボックス攻撃において、摂動ノルムを最小化するために、クエリを反復処理全体でどのように配分すべきか？
• RQ4 転送性や部分空間制約などの事前情報は、法線ベクトル推定の正確性を向上させ、クエリ数を削減できるか？
• RQ5 提案手法は、境界曲率が有界であるという仮定のもとで、最小のℓ2-摂動に収束するか？

主な発見

• サブスペース制約を用いた場合、GeoDAは全空間探索と比較してℓ2-摂動ノルムを約27%低減する。
• 境界攻撃やHopSkipJump攻撃などの最先端手法と比較して、より少ないクエリ数で優れた性能を達成する。
• 理論的分析により、ℓ2-摂動において、意思決定境界の曲率が有界である場合にGeoDAが最小摂動に収束することが示された。
• 数学的境界を用いて導出された最適なクエリ配分は、均等配分や単一反復戦略よりも優れた性能を発揮する。
• 転送性やDCT部分空間の事前情報を取り入れることで、法線ベクトル推定の正確性が著しく向上し、必要なクエリ数が削減される。
• ガウスノイズの分散σの選定は、誤分類と境界点の正確性のバランスを取る必要があり、最適な性能は中間的な値で達成される。