[論文レビュー] A geometry-inspired decision-based attack

Yujia Liu, Seyed-Mohsen Moosavi-Dezfooli+1 more|arXiv (Cornell University)|Mar 26, 2019

Adversarial Robustness in Machine Learning参考文献 26被引用数 5

ひとこと要約

本稿では、分類スコアの上位1クラスの予測のみを用いて、意思決定ベースの敵対的攻撃をよりクエリ効率的に実行するqFoolを提案する。この手法は、敵対的例の周辺における意思決定境界の平坦性に着目した幾何的知見を活用し、クエリ数を著しく削減する。Google Cloud Visionを500クエリ程度で撃破した実証例もあり、人間が検出できないほどの微小な摂動を維持しながら、非標的および標的攻撃の両設定において、先行手法を上回る性能を発揮する。

ABSTRACT

Deep neural networks have recently achieved tremendous success in image classification. Recent studies have however shown that they are easily misled into incorrect classification decisions by adversarial examples. Adversaries can even craft attacks by querying the model in black-box settings, where no information about the model is released except its final decision. Such decision-based attacks usually require lots of queries, while real-world image recognition systems might actually restrict the number of queries. In this paper, we propose qFool, a novel decision-based attack algorithm that can generate adversarial examples using a small number of queries. The qFool method can drastically reduce the number of queries compared to previous decision-based attacks while reaching the same quality of adversarial examples. We also enhance our method by constraining adversarial perturbations in low-frequency subspace, which can make qFool even more computationally efficient. Altogether, we manage to fool commercial image recognition systems with a small number of queries, which demonstrates the actual effectiveness of our new algorithm in practice.

研究の動機と目的

• モデルの勾配や確率が得られない、ブラックボックス環境において敵対的例を生成する課題に取り組む。
• 商用APIのような実世界のシステムではコストがかかる意思決定ベース攻撃のクエリ数を削減する。
• 敵対的例の周辺における意思決定境界の局所的平坦性を活用し、最小限のクエリで勾配方向を正確に推定することで、効率を向上させる。
• 摂動を低次元の低周波数部分空間に制約することで、探索空間の次元を低減し、クエリ効率をさらに高める。
• 実世界の商用画像分類器、Google Cloud Visionに対して、最小限のクエリで効果的に攻撃を実行することで、実用的有効性を実証する。

提案手法

• 敵対的例の周辺で意思決定境界が局所的に平坦であるという観察に基づき、モデルクエリの上位1クラスのラベル反応のみを用いて、意思決定境界の勾配方向を推定する。
• 非標的攻撃では、推定した勾配方向に沿って反復的に探索を行い、摂動を最小限に抑えつつ誤分類を達成する。
• 標的攻撃では、意思決定境界に沿って複数点での勾配推定を実施し、ターゲット画像のラベルを用いて探索を目的のクラスへ誘導する。
• 摂動を低次元の低周波数部分空間に投影することで、部分空間制約を導入し、探索空間の次元を低減し、クエリ効率を向上させる。
• 勾配計算を避けるために、モデルクエリとラベルフィードバックに基づく摂動更新を繰り返すシンプルな反復最適化戦略を採用する。
• 小さな低周波数摂動がより効果的かつ検出されにくいため、クエリ制限下でも人間が検出できないほどの微小な摂動と高い攻撃成功率を両立できる。

実験結果

リサーチクエスチョン

• RQ1 上位1クラスのモデル予測のみが利用可能な状況で、最小限のクエリ数で敵対的例を生成できるか？
• RQ2 敵対的例の周辺における意思決定境界の幾何的平坦性は、モデル勾配が得られない状況でも、効率的な勾配推定を可能にするか？
• RQ3 摂動を低周波数部分空間に制約することで、攻撃に必要なクエリ数をどの程度削減できるか？
• RQ4 qFoolは、Boundary attackなどの既存の意思決定ベース攻撃と比較して、クエリ効率と摂動品質の両面で優れているか？
• RQ5 qFoolは、クエリ予算が限られた実世界の商用画像認識システム（例：Google Cloud Vision）を、限られたクエリ数で効果的に撃破できるか？

主な発見

• qFoolは、先行する意思決定ベース攻撃と比較して、特に初期のクエリ段階で、敵対的例生成に必要なクエリ数を数個のオーダーも削減する。
• 非標的攻撃では、ベースライン手法と同等の誤分類率を達成しながら、著しく少ないクエリ数で実現しており、クエリ数の分布から、30％以上の画像がたった2イテレーションで攻撃に成功していることが示された。
• 標的攻撃では、Boundary attackに比べてqFoolがより速く収束し、最初の数千クエリ以内により小さな摂動を発見できた。10万クエリで曲線が交差するが、初期段階での優位性は明確である。
• 低周波数部分空間に制約を加えた場合、VGG-19では平均二乗誤差（MSE）が1.12e-4にまで低下したのに対し、全空間では4.40e-4にとどまり、クエリ数を減らしながら摂動品質が向上した。
• Google Cloud Visionでは、500〜1500クエリの範囲で画像を誤分類させることに成功し、人間が検出できない微小な摂動（例：'flag'画像でMSE = 2.66e-6）を実現した。実用的有効性が裏付けられた。
• 元画像とターゲット画像のピクセル空間上の距離は、必要なクエリ数と相関がなかった。これは、特徴空間上の類似性が、空間的近接性よりも優れた予測指標であることを示している。