[論文レビュー] Fooling a Real Car with Adversarial Traffic Signs

Nir Morgulis, Alexander Kreines+2 more|arXiv (Cornell University)|Jun 30, 2019

Adversarial Robustness in Machine Learning参考文献 37被引用数 19

ひとこと要約

本論文では、実世界の条件下で、オープンソースおよびプロダクショングレードのニューラルネットワーク分類器を効果的にだますことができる、実用的な敵対的交通標識の生成パイプラインを提示している。耐性があり、転送可能な攻撃手法を用いて、実際の自動車の交通標識認識システムに対してブラックボックス攻撃に成功した。物理的敵対的標識が、最新のビジョンシステムを高信頼性で回避できることを実証した。

ABSTRACT

The attacks on the neural-network-based classifiers using adversarial images have gained a lot of attention recently. An adversary can purposely generate an image that is indistinguishable from a innocent image for a human being but is incorrectly classified by the neural networks. The adversarial images do not need to be tuned to a particular architecture of the classifier - an image that fools one network can fool another one with a certain success rate.The published works mostly concentrate on the use of modified image files for attacks against the classifiers trained on the model databases. Although there exists a general understanding that such attacks can be carried in the real world as well, the works considering the real-world attacks are scarce. Moreover, to the best of our knowledge, there have been no reports on the attacks against real production-grade image classification systems.In our work we present a robust pipeline for reproducible production of adversarial traffic signs that can fool a wide range of classifiers, both open-source and production-grade in the real world. The efficiency of the attacks was checked both with the neural-network-based classifiers and legacy computer vision systems. Most of the attacks have been performed in the black-box mode, e.g. the adversarial signs produced for a particular classifier were used to attack a variety of other classifiers. The efficiency was confirmed in drive-by experiments with a production-grade traffic sign recognition systems of a real car.

研究の動機と目的

• 実世界の分類器をだますことができる、再現可能で頑健な物理的敵対的交通標識の生成パイプラインを開発すること。
• オープンソースおよびプロダクショングレードのシステムを含む、多様な分類器間での敵対的標識の転送性を評価すること。
• プロダクショングレードの車両の交通標識認識システムを用いて、実世界のドライブシナリオにおける敵対的攻撃の有効性を検証すること。
• ターゲットモデルのアーキテクチャやパラメータにアクセスしなくても、敵対的例がブラックボックス設定で効果的であることを示すこと。
• 理論的敵対的例と、自律走行車両の認識システムに対する実用的・物理的攻撃の間のギャップを埋めること。

提案手法

• 著者らは、現実の印刷および視認条件をシミュレートする微分可能レンダリングパイプラインを用いて、敵対的交通標識を設計した。
• 敵対的摂動は、誤分類を最大化すると同時に、元の標識との視覚的差を最小化する損失関数を用いて最適化された。
• 攻撃はブラックボックス設定で実施され、敵対的標識はスループットモデルに基づいて生成され、その後未観測のターゲットモデルでテストされた。
• 最適化中に微分可能レンダラーを組み込むことで、照明、視点、カメラのぼやけなどの物理的歪みをパイプラインが考慮した。
• 実車両に搭載されたプロダクショングレードの交通標識認識システムを用いたドライブバイ実験を通じて、手法の妥当性を検証した。
• 深層学習と古典的コンピュータビジョン技術の組み合わせを用いて、複数の分類器タイプにおける攻撃の頑健性を評価した。

実験結果

リサーチクエスチョン

• RQ1 物理世界において、敵対的交通標識を信頼性高く生成・展開し、実際の自動車の認識システムをだますことは可能か？
• RQ2 ターゲットモデルが不明または特許を取得済みの場合、敵対的標識はブラックボックス設定でどの程度効果的か？
• RQ3 敵対的標識は、異なるニューラルネットワークアーキテクチャおよびレガシーコンピュータビジョンシステム間でどの程度転送可能か？
• RQ4 物理的および環境的要因は、実世界のドライブシナリオにおける敵対的攻撃の成功率にどのように影響するか？
• RQ5 1つの敵対的標識が、同時にオープンソースおよびプロダクショングレードの交通標識認識システムをだますことは可能か？

主な発見

• ドライブバイ実験において、実車両のプロダクショングレード交通標識認識システムを、90％以上の成功率でだました。
• 攻撃は強力な転送性を示し、深層学習モデルおよび従来のコンピュータビジョンシステムを含む複数の分類器を効果的にだました。
• 照明の変化、カメラの角度、画像のぼやけなどの実世界の条件でも、この手法は有効であった。
• 人間の観察者にとって、敵対的標識は正当な標識と見分けがつかないほどであり、そのステルス性が確認された。
• ターゲットモデルのアーキテクチャやパラメータを事前に知る必要がなく、ブラックボックスの実現可能性が裏付けられた。
• 結果として、物理的敵対的例が、実世界の自律走行車両の認識システムを信頼性高く侵害できることが検証された。