[論文レビュー] Rogue Signs: Deceiving Traffic Sign Recognition with Malicious Ads and Logos

Chawin Sitawarin, Arjun Nitin Bhagoji+3 more|arXiv (Cornell University)|Jan 8, 2018

Adversarial Robustness in Machine Learning被引用数 29

ひとこと要約

本論文は、悪意ある交通標識に誤認識させる物理的攻撃である Sign Embedding 攻撃を紹介する。この攻撃は、悪意ある標識や広告を、95%以上の成功率で自動運転車両（AV）の認識システムが誤認識する悪意ある交通標識に変換する。生成段階で現実世界の画像変換に耐性をもたせるように最適化することで、仮想的および物理的環境の両方で検出を避け、AVの認識システムをだます高信頼度の adversarial 例を生成する。

ABSTRACT

We propose a new real-world attack against the computer vision based systems of autonomous vehicles (AVs). Our novel Sign Embedding attack exploits the concept of adversarial examples to modify innocuous signs and advertisements in the environment such that they are classified as the adversary's desired traffic sign with high confidence. Our attack greatly expands the scope of the threat posed to AVs since adversaries are no longer restricted to just modifying existing traffic signs as in previous work. Our attack pipeline generates adversarial samples which are robust to the environmental conditions and noisy image transformations present in the physical world. We ensure this by including a variety of possible image transformations in the optimization problem used to generate adversarial samples. We verify the robustness of the adversarial samples by printing them out and carrying out drive-by tests simulating the conditions under which image capture would occur in a real-world scenario. We experimented with physical attack samples for different distances, lighting conditions and camera angles. In addition, extensive evaluations were carried out in the virtual setting for a variety of image transformations. The adversarial samples generated using our method have adversarial success rates in excess of 95% in the physical as well as virtual settings.

研究の動機と目的

• 既存の交通標識の改ざんにとどまらず、無害な標識や広告を含めた、adversarial 攻撃の脅威表面を拡大すること。
• 照明の変化、カメラの角度、リサイズなどの現実世界の画像変換に対して高い成功率を維持する物理的耐性を持つ adversarial 攻撃パイプラインの開発。
• 仮想シミュレーションおよび現実世界のドライブバイテストの両方で adversarial 例の有効性を評価し、実用的実現可能性を示すこと。
• 従来の方法が広範なデータ収集を必要とするのに対し、本手法はターゲット標識の画像を1枚のみで、スケーラブルに標的にした adversarial 表示を生成できること。
• AV認識システムが見かけ上無害な視覚的コンテンツに対して高信頼度の誤認識を引き起こす脆弱性を浮き彫りにすること。

提案手法

• 攻撃は、標識認識モデルのアーキテクチャと重みに完全にアクセスできるホワイトボックスの脅威モデルを用い、標的の adversarial 例を生成する。
• 分類誤差を最小化すると同時に、摂動の大きさを制約することで視覚的非検知性を維持する損失関数を用いて摂動を最適化する。
• 実世界の変換に耐性を付けるために、明るさ、回転、リサイズなどの多様な画像変換を最適化プロセスに組み込む。
• 悪意ある摂動を、無害なロゴやカスタムデザインの形状と色に埋め込み、ターゲット交通標識を模倣する adversarial 表示を生成する。
• 仮想および物理的テスト環境での検出と分類の検証に、形状ベースの検出器とCNN分類器を含むパイプラインを構築する。
• 本手法は、非交通標識コンテンツを含む任意のソース画像から、最小限のデータ要件でエンドツーエンドの adversarial 例を生成可能である。

実験結果

リサーチクエスチョン

• RQ1 ロゴや広告など、無害で交通標識でない視覚的コンテンツが、AVシステムによって危険な交通標識として高信頼度で誤認識される可能性は何か？
• RQ2 変換不変最適化で生成された adversarial 例は、照明の変化、距離、カメラの角度といった現実世界の条件下でどれほど効果的か？
• RQ3 物理的画像変換の下で、本手法と従来の adversarial 攻撃手法（例：Carlini-Wagner）とを比較した場合、耐性と成功率の面でどの程度差が出るか？
• RQ4 本攻撃は現実世界の印刷済み標識に対しても高い信頼性で適用可能か？ドライブバイテストのシナリオでの性能はいかがなっているか？
• RQ5 無害な標識が高信頼度の誤認識を引き起こさない理由は何か？本 adversarial 手法はこの制限をどのように克服しているか？

主な発見

• テスト時にランダム変換を適用しない仮想環境では、GTSRB データセット上で Sign Embedding 攻撃が 99.07% の成功率を達成した。
• ランダムな画像変換が適用されても、仮想環境では 95.50% の成功率を維持し、強い耐性を示した。
• 現実世界のドライブバイテストでは、検出されたフレームのうち 95.74% がターゲット標識として正しく分類された。
• ロゴ攻撃は物理的テストで 56.60% の成功率を示し、交通標識の adversarial 攻撃ほど効果的ではないものの、依然として重大な脅威を示している。
• カスタム標識攻撃は物理的テストで 95.24% の成功率を達成し、カスタム設計された adversarial 表示が非常に効果的であることを示している。
• 本手法はランダム変換下で3.6%の劣化率を示したのに対し、Carlini-Wagner 法は89.75%の劣化率を示し、物理的展開における優れた耐性を示している。