[論文レビュー] NO Need to Worry about Adversarial Examples in Object Detection in Autonomous Vehicles

Jiajun Lu, Hussein Sibai+2 more|arXiv (Cornell University)|Jul 12, 2017

Adversarial Robustness in Machine Learning参考文献 17被引用数 209

ひとこと要約

本論文は、物理的敵対的摂動が自動運転車における物体検出器を、視距離や角度が変化しても一貫して欺くことに失敗する、と主張する。

ABSTRACT

It has been shown that most machine learning algorithms are susceptible to adversarial perturbations. Slightly perturbing an image in a carefully chosen direction in the image space may cause a trained neural network model to misclassify it. Recently, it was shown that physical adversarial examples exist: printing perturbed images then taking pictures of them would still result in misclassification. This raises security and safety concerns. However, these experiments ignore a crucial property of physical objects: the camera can view objects from different distances and at different angles. In this paper, we show experiments that suggest that current constructions of physical adversarial examples do not disrupt object detection from a moving platform. Instead, a trained neural network classifies most of the pictures taken from different distances and angles of a perturbed image correctly. We believe this is because the adversarial property of the perturbation is sensitive to the scale at which the perturbed picture is viewed, so (for example) an autonomous car will misclassify a stop sign only from a small range of distances. Our work raises an important question: can one construct examples that are adversarial for many or most viewing conditions? If so, the construction should offer very significant insights into the internal representation of patterns by deep networks. If not, there is a good prospect that adversarial examples can be reduced to a curiosity with little practical impact.

研究の動機と目的

• 自動運転において物理的敵対的例が物体検出器を脅かすかを動機づけ、定量化する。
• 分類器からYOLOのような検出器へ敵対的攻撃を拡張する。
• 距離と視角が物理的敵対的摂動の効果にどのように影響するかを評価する。

提案手法

• 交通標識分類器とYOLO検出器の両方に対して、Fast Sign、Iterative、およびL-BFGSの敵対的攻撃を適用する。
• 敵対的なストップサイン画像を生成し印刷する。複数の距離と角度で写真を撮影して運転をシミュレートする。
• 変換（印刷および再取り込み）後に敵対的な例がどの程度の頻度で依然として敵対的であるかを destruction rate で測定する。
• 0.5 m および 1.5 m の印刷サインと実世界の運転シナリオを用いた統制実験を実施し、検出器と分類器の頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 視距離や角度が変化した場合に、物理的敵対的摂動は物体検出器（例：YOLO）に対して有効であり続けるか？
• RQ2 距離は検出器と分類器の両方のタスクにおける敵対的摂動の destruction rate にどのように影響するか？
• RQ3 検出器用に作られた敵対的摂動は、物理世界条件下で分類器に転移したり、分類器に対して存続したりするか？
• RQ4 距離と角度の影響が自動運転の安全性にどのような実用的含意をもたらすか？

主な発見

• 物理的敵対的摂動は、異なる距離にわたってYOLO検出器を欺くことに大きく失敗する。 destruction rateは距離とともに上昇する。
• 検出器では、摂動を加えた多くの標識が0.5 mで、特に1.5 mで正しく検出される。
• 分類器への攻撃は距離が大きくなると破壊率が高くなることを示し、手法ごとに効果が異なる（IterativeとLBFGSは一般にFast Signよりも破壊的だが、距離とともに効果は低下する）。
• 切り抜きや背景文脈は検出結果に影響を与えることがあり、印刷テストでは高コントラストの背景で検出が改善されることもある。
• 撮影角度は敵対的効果を変える可能性があり、現実世界の視認条件が信頼性の高い敵対的影響を低減させることを示唆する。