[論文レビュー] Shadows can be Dangerous: Stealthy and Effective Physical-world Adversarial Attack by Natural Phenomenon

Yiqi Zhong, Xianming Liu+3 more|arXiv (Cornell University)|Mar 8, 2022

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

本論文は、人工的な光学パターンの代わりに自然な影を用いる、画期的で巧妙な物理世界における対抗的攻撃を提案する。粒子群最適化を用いて影の形状と位置を最適化することで、ブラックボックス設定下でLISAでは98.23%、GTSRBでは90.47%の成功率を達成し、実世界のテストでは移動するカメラを95%以上の確率でだますことに成功した。

ABSTRACT

Estimating the risk level of adversarial examples is essential for safely deploying machine learning models in the real world. One popular approach for physical-world attacks is to adopt the "sticker-pasting" strategy, which however suffers from some limitations, including difficulties in access to the target or printing by valid colors. A new type of non-invasive attacks emerged recently, which attempt to cast perturbation onto the target by optics based tools, such as laser beam and projector. However, the added optical patterns are artificial but not natural. Thus, they are still conspicuous and attention-grabbed, and can be easily noticed by humans. In this paper, we study a new type of optical adversarial examples, in which the perturbations are generated by a very common natural phenomenon, shadow, to achieve naturalistic and stealthy physical-world adversarial attack under the black-box setting. We extensively evaluate the effectiveness of this new attack on both simulated and real-world environments. Experimental results on traffic sign recognition demonstrate that our algorithm can generate adversarial examples effectively, reaching 98.23% and 90.47% success rates on LISA and GTSRB test sets respectively, while continuously misleading a moving camera over 95% of the time in real-world scenarios. We also offer discussions about the limitations and the defense mechanism of this attack.

研究の動機と目的

• 人工的な光学パターンに依存せず、自然現象を活用する物理的に実現可能で非侵襲的な対抗的攻撃の開発を目的とする。
• ステッカー貼付や人工光に基づく攻撃の限界を克服するため、より自然で目立たない影を摂動として用いる。
• ブラックボックス設定下でのシミュレート環境および実世界環境における影ベースの対抗的攻撃の有効性を評価すること。
• 移動するカメラを搭載したリアルタイムの交通標識認識システムに対する影ベース攻撃の実現可能性と耐性を調査すること。
• 特にランダムな影拡張を用いた対抗的訓練により、モデルの耐性を高める防御手法を検討すること。

提案手法

• ターゲットモデルを最大限にだます影の形状と位置を生成することを目的とした最適化問題として、影ベースの対抗的攻撃を定式化する。
• 攻撃成功率を最大化する最適な影の配置（多角形の頂点と強度係数k）を探索するために、粒子群最適化（PSO）を用いる。
• さまざまな照明条件下での影がターゲットオブジェクトに与える影響をシミュレートするため、微分可能レンダリングパイプラインを実装する。
• 性能と計算コストのバランスを取るために、n=5のn回再起動戦略（n-restarts）を採用し、耐性と成功率を向上させる。
• 対抗的訓練の過程でランダムな影拡張技術を適用し、影攻撃に対するモデルの耐性を高める。
• デジタル（シミュレート）および物理的（実世界）の両設定で攻撃を検証し、移動カメラを含む動的シナリオも含む。

Figure 1 : Comparison of our simulated shadows and real-world shadows on traffic signs from LISA [ 21 ] and GTSRB [ 26 ] datasets.

実験結果

リサーチクエスチョン

• RQ1 人工的な光学デバイスに依存せずに、自然な影を物理世界の攻撃における対抗的摂動として効果的に利用できるか？
• RQ2 動的カメラを搭載した実世界の交通標識認識シナリオにおいて、影ベース攻撃はどの程度効果的か？
• RQ3 物理的に実現可能で巧妙な影摂動を生成するために必要な最適化戦略は何か？
• RQ4 さまざまな照明条件や影の配置において、攻撃のパフォーマンスはどのように変化するか？
• RQ5 ランダムな影拡張を用いた対抗的訓練は、影ベース攻撃に対するモデルの耐性を向上させることができるか？

主な発見

• 提案された影ベース攻撃は、ブラックボックス設定下でLISAデータセットで98.23%、GTSRBデータセットで90.47%の成功率を達成した。
• 移動カメラを搭載した実世界の動的シナリオでは、攻撃が95%以上の確率でモデルをだました。
• 三角形を影の形状として用いることで、計算コストを最小限に抑えつつ効果的な結果が得られ、より複雑な多角形を上回った。
• n=5のn回再起動戦略は、成功率と計算コストの両面で良好なバランスを提供し、n>5ではわずかな向上しか得られなかった。
• ランダムな影拡張を用いた対抗的訓練により、モデルの耐性が向上し、LISA-CNNでは攻撃の失敗率が1.73%から40.93%に上昇した。
• 照明が極めて悪い状況（k値が大きい）では、影が薄すぎて顕著な摂動を生じないため、攻撃は効果を示さないことが判明し、環境的制限が顕著になった。

Figure 2 : The distribution of coefficient $k$ .