[論文レビュー] Are Self-Driving Cars Secure? Evasion Attacks against Deep Neural Networks for Steering Angle Prediction

Alesia Chernikova, Alina Oprea+2 more|arXiv (Cornell University)|Apr 15, 2019

Adversarial Robustness in Machine Learning被引用数 12

ひとこと要約

この論文は、最小限で人間が認識できない画像の摂動を用いた悪意ある攻撃が、自己走行車のステアリング角度予測に用いられる深層ニューラルネットワークに対して効果的であることを示している。Carlini & Wagner法に基づく悪意ある攻撃を適用することで、$L_2$ 摂動がたった0.82のわずかで100%の誤分類成功率を達成し、平均二乗誤差（MSE）を最大69倍にまで増加させ、自動運転車の認識システムに深刻なセキュリティリスクを露呈した。

ABSTRACT

Deep Neural Networks (DNNs) have tremendous potential in advancing the vision for self-driving cars. However, the security of DNN models in this context leads to major safety implications and needs to be better understood. We consider the case study of steering angle prediction from camera images, using the dataset from the 2014 Udacity challenge. We demonstrate for the first time adversarial testing-time attacks for this application for both classification and regression settings. We show that minor modifications to the camera image (an L2 distance of 0.82 for one of the considered models) result in mis-classification of an image to any class of attacker's choice. Furthermore, our regression attack results in a significant increase in Mean Square Error (MSE) by a factor of 69 in the worst case.

研究の動機と目的

• 自動運転車に用いられる深層ニューラルネットワークのセキュリティ的脆弱性、特にステアリング角度予測の分野における脆弱性を調査すること。
• リアルタイムのドライブシナリオにおける分類モデルおよび回帰モデルに対して、回避攻撃の実現可能性と影響を評価すること。
• 微小で人間が認識できない画像摂動が、ステアリング角度モデルにおいて顕著な誤予測を引き起こす可能性があることを実証すること。
• 攻撃に成功するための最小摂動量を定量的に評価し、MSEなどのモデル性能指標の低下を評価すること。
• 自動運転のような安全に重要な応用分野における深層学習システムにおける耐性強化の緊急性を強調すること。

提案手法

• 2014年Udacityチャレンジのデータセットを用いて、Carlini & Wagnerの回避攻撃フレームワークをステアリング角度予測タスクに適応した。
• 2つのCNNアーキテクチャ（EpochおよびNVIDIA）を用いて、分類（ステアリング方向）および回帰（連続的ステアリング角度）の両設定に攻撃を適用した。
• 摂動の大きさと攻撃成功率のバランスを取るために、攻撃ハイパーパrameter $c$ の最適化に二分探索を用いた。
• 攻撃の成功率は摂動の$L_2$ ノルムで測定し、性能低下は平均二乗誤差（MSE）指標で評価した。
• 目標クラスや望ましい回帰出力からの逸脱をペナルティとする損失関数を最小化することで、悪意ある例を生成した。
• ROC曲線とMSE比のCDFを用いて、正当な入力と悪意ある入力の間でモデル性能を比較評価した。

実験結果

リサーチクエスチョン

• RQ1 最小限で人間が認識できない画像摂動を用いて、自己走行車のステアリング方向を誤分類する悪意ある例を生成できるか？
• RQ2 $L_2$ ノルムの摂動が、ステアリング角度分類モデルに対する回避攻撃の成功率にどの程度影響を与えるか？
• RQ3 悪意ある攻撃は、回帰ベースのステアリング角度予測モデルの性能をMSEで測定してどの程度劣化させるか？
• RQ4 悪意ある入力と正当な入力との間で観察されたMSEの最大上昇率はどれくらいか？
• RQ5 異なるモデルアーキテクチャ（例：Epoch対NVIDIA）は、悪意ある攻撃に対してどの程度の耐性を示すか？

主な発見

• Epochモデルでは、$L_2$ 摂動がたった0.82のわずかで、ステアリング方向の誤分類が100%の成功率で達成された。
• NVIDIAモデルでは、摂動が121.01にまで上昇したが、これはアーキテクチャの複雑さによる高い耐性を示唆している。
• 悪意ある画像の10%について、MSEが正当な入力と比較して20倍以上に上昇した。
• 悪意ある予測と正当な予測の間でMSE比の最大値は69に達し、性能の著しい劣化を示した。
• 分類モデルのAUCは、攻撃なしでは1.0であったが、$L_2$ ノルム0.75の摂動下では0.62に低下し、顕著な性能低下を示した。
• 悪意ある画像は元の画像と視覚的にほとんど同一であり、ピクセル単位の微小な変更しかなく、攻撃の巧妙さ（ステルス性）を裏付けた。