[論文レビュー] Adversarial camera stickers: A physical camera-based attack on deep learning systems

Juncheng Li, Frank R. Schmidt+1 more|arXiv (Cornell University)|Mar 21, 2019

Adversarial Robustness in Machine Learning参考文献 18被引用数 61

ひとこと要約

論文は、カメラレンズに carefully designed なステッカーを貼ることで、普遍的で標的化された誤分類を深層画像分類器に引き起こす対生成的攻撃を提案し、ImageNet および現実世界のカメラ設定で実証している。

ABSTRACT

Recent work has documented the susceptibility of deep learning systems to adversarial examples, but most such attacks directly manipulate the digital input to a classifier. Although a smaller line of work considers physical adversarial attacks, in all cases these involve manipulating the object of interest, e.g., putting a physical sticker on an object to misclassify it, or manufacturing an object specifically intended to be misclassified. In this work, we consider an alternative question: is it possible to fool deep classifiers, over all perceived objects of a certain type, by physically manipulating the camera itself? We show that by placing a carefully crafted and mainly-translucent sticker over the lens of a camera, one can create universal perturbations of the observed images that are inconspicuous, yet misclassify target objects as a different (targeted) class. To accomplish this, we propose an iterative procedure for both updating the attack perturbation (to make it adversarial for a given classifier), and the threat model itself (to ensure it is physically realizable). For example, we show that we can achieve physically-realizable attacks that fool ImageNet classifiers in a targeted fashion 49.6% of the time. This presents a new class of physically-realizable threat models to consider in the context of adversarially robust machine learning. Our demo video can be viewed at: https://youtu.be/wUVmL33Fx54

研究の動機と目的

• 光学系とシーンの間を攻撃する、物理的に実現可能な脅威モデルを動機づけ、形式化する。
• 観測対象の物を改変することなしに、広範な物体を誤分類させる universal なカメラレベルの摂動を開発する。
• 目立たず、印刷に適したステッカーを生み出すために、摂動と物理実現可能性の制約を共同最適化する。
• デジタルシミュレーション（ImageNet）と現実世界の実験（カメラレンズに印刷したステッカーを使用）で攻撃を評価する。

提案手法

• 半透明のカメラレンズのステッカーの効果をアルファ混合ドットで模擬する摂動モデルを定式化する：pi0(x;θ) で、パラメータは（色 γ、中心 (i^(c), j^(c))、半径 r、最大αmax、減衰 β）。
• universal な摂動 π(x;θ) = π0(•;θK) ◦ … ◦ π0(x;θ1) を作成する。
• dot を組み合わせて、実世界で実現可能な制約に摂動モデルを適合させ、ドットの有無を対で収集し、構造的類似度（SSIM）を最適化して観測された摂動を再現する。
• 摂動を実 manufacturing に実用的な集合へ制限する：最大 10 個のドット、固定 αmax、β、r、離散的な色集合 Γ；最適化はドットの中心と色を選択する。
• 特定クラス y⋆ に対して、ターゲットクラス ytarget へ誤分類させるため、損失の差を最大化してターゲット universal 攻撃を実施する：E[ℓ(f(π(x)), y⋆) − ℓ(f(π(x)), ytarget)]。
• 貪欲的な座標降下法（ドット位置と色を見て）を用い、後続の勾配降下で微調整して敵対的ステッカーを構築する。

実験結果

リサーチクエスチョン

• RQ1 カメラの光学系を変更することで、対象物を改変せずに敵対的摂動を物理的に実現できるのか。
• RQ2 画像と角度を固定した universial 摂動を作成し、カメラのステッカーを介して適用すると、標的誤分類を引き起こせるのか。
• RQ3 物理実現性の制約（ドットサイズ、不透明度、色集合）が、現実世界およびデジタルデータセット上の攻撃の有効性にどう影響するか。
• RQ4 ImageNet および複数のターゲットクラスで、カメラベースの摂動の empirical fooling rate はどの程度か。

主な発見

Prediction	Class	Attack	Correct	Target	Other
Keyboard →	No	85%	0%	15%
Mouse	Yes	48%	36%	16%
Street sign →	No	64%	0%	36%
Guitar Pick	Yes	32%	34%	34%
Street sign →	No	64%	0%	36%
50 classes	Yes	18%	33%	49%
50 Classes →	No	74%	0%	26%
50 classes	Yes	42%	31%	27%

• 物理的に実現可能な universal なカメラ摂動は、現実世界の映像でターゲット物体を選択されたターゲットクラスとして誤分類させることができる（5 クラス/ターゲット組み合わせで平均的な targeted fooling rate は 52%）。
• 現実映像では、ターゲットケースで分類器の正解率を約27%へと低下させ、顕著なターゲットの誤分類率を生み出す。
• デジタル（ImageNet）実験では、6ドット摂動でターゲット誤分類率はクラス/ターゲットおよびドット数によって約18–49.6%程度と変動し、ドット数を増やすとターゲット誤分類率が上昇する。
• カメラ上の小さなステッカー1枚で、異なる視角や物体スケールに対して一貫した誤分類を生み出せることを示し、敵対的ロバスト性の新しい物理的脅威モデルを示す。
• 印刷ドットを使用すると、摂動空間は低周波で目立ちにくいパターンに制限されるが、それでも意味のある攻撃率を達成する。
• この研究は、カメラベースの敵対的攻撃の初の現実世界デモンストレーションを示しており、MLシステムに対する物理的脅威の考慮の重要性を強調する。