[論文レビュー] DARTS: Deceiving Autonomous Cars with Toxic Signs

Chawin Sitawarin, Arjun Nitin Bhagoji+3 more|arXiv (Cornell University)|Feb 18, 2018

Adversarial Robustness in Machine Learning参考文献 55被引用数 179

ひとこと要約

この論文は、交通標識認識を標的とする現実世界で実現可能な二つの攻撃—サイン埋め込みとレンチキュラー印刷—を提案し、実世界での成功事例と対策としての防御（対抗敵訓練など）の限界を示す。

ABSTRACT

Sign recognition is an integral part of autonomous cars. Any misclassification of traffic signs can potentially lead to a multitude of disastrous consequences, ranging from a life-threatening accident to even a large-scale interruption of transportation services relying on autonomous cars. In this paper, we propose and examine security attacks against sign recognition systems for Deceiving Autonomous caRs with Toxic Signs (we call the proposed attacks DARTS). In particular, we introduce two novel methods to create these toxic signs. First, we propose Out-of-Distribution attacks, which expand the scope of adversarial examples by enabling the adversary to generate these starting from an arbitrary point in the image space compared to prior attacks which are restricted to existing training/test data (In-Distribution). Second, we present the Lenticular Printing attack, which relies on an optical phenomenon to deceive the traffic sign recognition system. We extensively evaluate the effectiveness of the proposed attacks in both virtual and real-world settings and consider both white-box and black-box threat models. Our results demonstrate that the proposed attacks are successful under both settings and threat models. We further show that Out-of-Distribution attacks can outperform In-Distribution attacks on classifiers defended using the adversarial training defense, exposing a new attack vector for these defenses.

研究の動機と目的

• 自動運転車の交通標識認識システムが敵対的操作に対して脆弱であるかを評価する。
• 従来の分布内敵対者を超える新しい攻撃ベクトルを導入する。
• 実世界の変換・条件下で攻撃の物理的頑健性を実証する。
• ホワイトボックスおよびブラックボックスの脅威モデルでの攻撃有効性を、現実の走行テストを含めて評価する。
• 特に敵対的訓練などの既存防御の限界をこれらの攻撃に対して検討する。

提案手法

• 任意の分布外画像から開始して敵対的標識を生成するサイン埋め込み攻撃を提案する。
• 光学現象を利用して角度依存の誤分類を生じさせるレンチキュラー印刷攻撃を提案する。
• マスクと微分可能な変換集合を用いた物理的に頑健な摂動を生成する頑健最適化フレームワーク（変換を含む）を開発する。
• 現実世界条件を模倣するため、マスキング、リサイズ、ランダムブライティネス/視点/サイズの変換を組み込んだ攻撃パイプラインを使用する。
• ホワイトボックスおよびブラックボックス設定での評価、転移学習の研究、走行時テストを含む。

実験結果

リサーチクエスチョン

• RQ1 敵対者は任意の入力画像（分布外）から開始して頑健で物理的に実現可能な敵対的標識を生成できるか。
• RQ2 現実世界の変換・条件下でサイン埋め込みとadvtraffic攻撃はどれだけ効果的か。
• RQ3 敵対的サンプルは標識認識における最先端の防御（敵対的訓練など）を破ることができるか。
• RQ4 レンチキュラー印刷のような新しい物理攻撃が標識認識システムを惑わせる現実性はどれほどか。

主な発見

Classifier	GTSRB Accuracy	GTSDB mAP	Auxiliary Traffic Data Accuracy
Multi-scale CNN	98.50%	77.1%	100%
Standard CNN	98.66%	81.5%	100%

• サイン埋め込みとレンチキュラー印刷によって作成された敵対的標識は、様々な現実世界条件下で高い信頼度の誤分類を達成する。
• ドライブバイ実世界テストの結果、サイン埋め込みとadvtraffic攻撃の両方で成功率が90％を超える。
• サイン埋め込みは敵対的訓練を施した防御に対して従来のadvtraffic攻撃を上回る可能性があり、新たな攻撃ベクトルを示す。
• レンチキュラー印刷は視認角度依存の外観を利用する物理的攻撃ベクトルを導入し、標識認識を欺く。
• ブラックボックスおよび転移学習ベースの攻撃は、ターゲットモデルの詳しい情報がなくても依然として有効である。