[論文レビュー] PatchAttack: A Black-box Texture-based Attack with Reinforcement Learning

Chenglin Yang, Adam Kortylewski+3 more|arXiv (Cornell University)|Apr 12, 2020

Adversarial Robustness in Machine Learning参考文献 52被引用数 12

ひとこと要約

PatchAttackは、強化学習を用いて、深層ニューラルネットワークの標的および非標的誤分類の両方を最適化する、クエリ効率の高いブラックボックス敵対的攻撃である。VGGの特徴マップからクラス固有のテクスチャ辞書を学習し、これらのパッチを戦略的に配置することで、非標的攻撃では入力画像の3%を変更するだけでImageNetで99%以上の成功率を達成し、標的攻撃では平均で10%未塔の画像変更で同様の性能を発揮する。

ABSTRACT

Patch-based attacks introduce a perceptible but localized change to the input that induces misclassification. A limitation of current patch-based black-box attacks is that they perform poorly for targeted attacks, and even for the less challenging non-targeted scenarios, they require a large number of queries. Our proposed PatchAttack is query efficient and can break models for both targeted and non-targeted attacks. PatchAttack induces misclassifications by superimposing small textured patches on the input image. We parametrize the appearance of these patches by a dictionary of class-specific textures. This texture dictionary is learned by clustering Gram matrices of feature activations from a VGG backbone. PatchAttack optimizes the position and texture parameters of each patch using reinforcement learning. Our experiments show that PatchAttack achieves > 99% success rate on ImageNet for a wide range of architectures, while only manipulating 3% of the image for non-targeted attacks and 10% on average for targeted attacks. Furthermore, we show that PatchAttack circumvents state-of-the-art adversarial defense methods successfully.

研究の動機と目的

• 標的および非標的誤分類の両方において優れた性能を発揮する、クエリ効率の高いブラックボックスパッチ攻撃の開発。
• 情報のない内容の欠落による標的設定で失敗するモノクロパッチ攻撃の限界を克服すること。
• 最新の防御、特に特徴ノイズ除去と形状に偏ったネットワークを回避できるテクスチャベースのパッチ攻撃の設計。
• 深層ネットワークが形状に敏感に学習されていても、局所的で目立つテクスチャベースの摂動に対して依然として脆弱であることを示すこと。

提案手法

• パッチの配置とテクスチャ選択を強化学習（RL）の意思決定プロセスとして定式化し、エージェントがターゲットモデルと相互作用することで誤分類報酬を最大化する。
• 事前学習済みのVGGバックボーンの特徴活性化のグラム行列をクラスタリングすることで、クラス固有のテクスチャ辞書を学習し、現実的なテクスチャの探索を効率化する。
• テクスチャ辞書を用いてパッチの外観をパrameter化し、ランダムまたはモノクロのパッチではなく、多様で意味的なテクスチャを探索できるようにする。
• ポリシー勾配法を用いてパッチの位置とテクスチャを最適化し、報酬はターゲットクラスにおけるモデルの誤分類率とする。
• 最適化された位置に選択されたテクスチャパッチを入力画像に重ねて、敵対的サンプルを生成する。
• シミュレーションループを採用：パッチの位置とテクスチャを選択 → 画像に適用 → モデルをクエリ → 報酬を受信 → ポリシーを更新。

実験結果

リサーチクエスチョン

• RQ1 ランダムサーチや勾配フリー最適化と比較して、強化学習ベースの手法がブラックボックスパッチ攻撃におけるクエリ効率を著しく向上させられるか？
• RQ2 クラス固有のテクスチャパッチを導入することで、モノクロパッチが失敗する標的設定における攻撃成功率が向上するか？
• RQ3 テクスチャベースのパッチ攻撃は、特徴ノイズ除去や形状に偏ったネットワークといった最新の防御を効果的に回避できるか？
• RQ4 高い攻撃成功率を達成するために、入力画像のどの程度を変更する必要があり、標的と非標的設定でその量は異なるか？

主な発見

• PatchAttackは、ImageNetにおける標的および非標的攻撃の両方で99%以上の成功率を達成し、先行研究を著しく上回る。
• 非標的攻撃では、平均で画像の3%しか変更されておらず、平均して1,000クエリ未満で攻撃が完了する。
• 標的攻撃では、平均で画像の10%未満が変更されており、10%の画像が破損している状況で99.3%の成功率を達成する。
• PatchAttackは、摂動ベースの攻撃に対して有効な特徴ノイズ除去防御を効果的に回避し、その頑健性を示している。
• Stylized-ImageNetで学習された形状に偏ったネットワークに対しても、PatchAttackは非標的設定で精度を77.7%から0.5%に低下させ、標的設定では最小限のパッチ領域で精度を100%にまで引き上げた。
• 標的設定では、10%のパッチ領域を使用する場合、平均で3,822クエリで攻撃が完了し、10.31%の覆い隠し領域では9,229クエリで実行される。