[論文レビュー] Query Efficient Decision Based Sparse Attacks Against Black-Box Deep Learning Models

Viet Quoc Vo, Ehsan Abbasnejad+1 more|arXiv (Cornell University)|Jan 31, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

この論文は、ブラックボックスディープラーニングモデル向けに、進化に基づく、クエリ効率の高い意思決定ベースのスパース攻撃であるSparseEvoを提案する。従来の手法よりもはるかに少ないクエリ数で最先端の攻撃成功率を達成しており、非指向的設定では5,000クエリ、指向的設定では20,000クエリでImageNet上でホワイトボックスPGD₀の性能に匹敵する。また、畳み込みネットワークおよびビジョントランスフォーマーの両方に対して高い耐性を示している。

ABSTRACT

Despite our best efforts, deep learning models remain highly vulnerable to even tiny adversarial perturbations applied to the inputs. The ability to extract information from solely the output of a machine learning model to craft adversarial perturbations to black-box models is a practical threat against real-world systems, such as autonomous cars or machine learning models exposed as a service (MLaaS). Of particular interest are sparse attacks. The realization of sparse attacks in black-box models demonstrates that machine learning models are more vulnerable than we believe. Because these attacks aim to minimize the number of perturbed pixels measured by l_0 norm-required to mislead a model by solely observing the decision (the predicted label) returned to a model query; the so-called decision-based attack setting. But, such an attack leads to an NP-hard optimization problem. We develop an evolution-based algorithm-SparseEvo-for the problem and evaluate against both convolutional deep neural networks and vision transformers. Notably, vision transformers are yet to be investigated under a decision-based attack setting. SparseEvo requires significantly fewer model queries than the state-of-the-art sparse attack Pointwise for both untargeted and targeted attacks. The attack algorithm, although conceptually simple, is also competitive with only a limited query budget against the state-of-the-art gradient-based whitebox attacks in standard computer vision tasks such as ImageNet. Importantly, the query efficient SparseEvo, along with decision-based attacks, in general, raise new questions regarding the safety of deployed systems and poses new directions to study and understand the robustness of machine learning models.

研究の動機と目的

• 出力アクセスが限られた状況下での、クエリ効率的で意思決定ベースのスパース攻撃に対する重要なギャップを埋めること。
• Vision Transformer (ViT) と畳み込みニューラルネットワーク (ResNet50) が $l_0$-ノルム制約付きスパース攻撃に対して、どの程度の耐性を示すかを評価すること。
• 最小限のモデルクエリで高い攻撃成功率を達成する手法を開発し、実世界のシステムにおけるスケーラブルで静かなる敵対的攻撃を可能にすること。
• 意思決定ベースの設定下で、ビジョントランスフォーマーが畳み込みネットワークよりも脆弱であるか、それともより頑健であるかを調査すること。

提案手法

• SparseEvoは、モデルの意思決定フィードバック（予測ラベル）に基づいて、ピクセル集合を選択・変異させる進化型アルゴリズムを用いて、繰り返しスパースな摂動を最適化する。
• アルゴリズムは、各個体が候補となる摂動パターンを表す集団ベースの探索戦略を採用しており、適応度は誤分類の成功度によって決定される。
• 摂動は少数のピクセル（低 $l_0$ ノルム）を変更することで生成され、各クエリ後のモデルのトップ-1予測ラベルに従って探索が誘導される。
• クエリ効率を維持するため、影響力の高いピクセル変更に焦点を当て、効果的な探索のための適応的変異戦略を用いている。
• アルゴリズムは意思決定ベースの設定で動作し、スコアや勾配情報ではなく、入力ごとの予測ラベルのみを必要とする。
• 本手法は、ResNet50およびビジョントランスフォーマー（ViT）モデルを用いたImageNet上で評価され、クエリ予算およびスパarsity閾値のアブレーションが実施された。

実験結果

リサーチクエスチョン

• RQ1 Pointwiseのような既存の手法よりも著しく少ないクエリ数で、意思決定ベースのスパース攻撃が高い成功率を達成できるか。
• RQ2 ブラックボックス設定下で、$l_0$-ノルム制約付きスパース攻撃に対して、ビジョントランスフォーマーの耐性は畳み込みニューラルネットワークと比べてどうか。
• RQ3 クエリ効率の良いブラックボックス攻撃が、攻撃成功率とスパarsityの観点でホワイトボックスPGD₀の性能にどの程度近づけるか。
• RQ4 SparseEvoにおける進化型探索戦略は、勾配ベースやランダム探索と比較して、低スパarsityの敵対的例に到達するまでの収束が速いかどうか。

主な発見

• 非指向的設定では、SparseEvoは1,000クエリでPointwise（5,000クエリ）を上回る攻撃成功率を達成した。
• 指向的設定では、10,000クエリでSparseEvoはPointwise（20,000クエリ）を上回った。クエリ効率の優位性が顕著に示された。
• 非指向的設定では、SparseEvoが5,000クエリでImageNet上での理想のホワイトボックスPGD₀攻撃と同等の攻撃成功率を達成した。
• 指向的設定では、スパarsity閾値が0.01を超えると、SparseEvoが20,000クエリでPGD₀と同等の性能を達成した。
• 非指向的設定では、SparseEvoが3,000クエリでImageNet上での中央値スパarsityが78ピクセル（全50,176ピクセル中）に留まり、Pointwiseよりも顕著に低い。
• ビジョントランスフォーマー（ViT）はResNet50よりも高い耐性を示した：2,000クエリでSparseEvoはResNet50をPGD₀と同等に劣化させたが、ViTを同じレベルに劣化させるには5,000クエリを要した。