[論文レビュー] An Analysis of Adversarial Attacks and Defenses on Autonomous Driving Models

Yao Deng, Xi Zheng+4 more|arXiv (Cornell University)|Feb 6, 2020

Adversarial Robustness in Machine Learning参考文献 41被引用数 13

ひとこと要約

この論文は、CNNベースの自動運転回帰モデルに対する5つの敵対的攻撃と4つの防御技術の脆弱性を分析している。これらのモデルはホワイトボックス攻撃に対して非常に感受性が高く（成功率98％）、ブラックボックス攻撃ははるかに効果が低い（成功率4％）ことが判明した。また、1つの防御手法ではすべての攻撃に対して完全に保護できないため、実際のシステムでは複数層の防御戦略が不可欠である。

ABSTRACT

Nowadays, autonomous driving has attracted much attention from both industry and academia. Convolutional neural network (CNN) is a key component in autonomous driving, which is also increasingly adopted in pervasive computing such as smartphones, wearable devices, and IoT networks. Prior work shows CNN-based classification models are vulnerable to adversarial attacks. However, it is uncertain to what extent regression models such as driving models are vulnerable to adversarial attacks, the effectiveness of existing defense techniques, and the defense implications for system and middleware builders. This paper presents an in-depth analysis of five adversarial attacks and four defense methods on three driving models. Experiments show that, similar to classification models, these models are still highly vulnerable to adversarial attacks. This poses a big security threat to autonomous driving and thus should be taken into account in practice. While these defense methods can effectively defend against different attacks, none of them are able to provide adequate protection against all five attacks. We derive several implications for system and middleware builders: (1) when adding a defense component against adversarial attacks, it is important to deploy multiple defense methods in tandem to achieve a good coverage of various attacks, (2) a blackbox attack is much less effective compared with a white-box attack, implying that it is important to keep model details (e.g., model architecture, hyperparameters) confidential via model obfuscation, and (3) driving models with a complex architecture are preferred if computing resources permit as they are more resilient to adversarial attacks than simple models.

研究の動機と目的

• 自動運転で使用されるCNNベースの回帰モデルに対する5つの敵対的攻撃手法の有効性を評価すること。
• これらの攻撃に対して4つの防御技術を評価し、そのカバレッジと限界を特定すること。
• モデルのセキュリティと防御の展開に関する実用的インサイトを、システムおよびミドルウェア設計者に提供すること。
• 異なるドライブモデル間での敵対的例の転送性と、モデルの機密性が攻撃成功率に与える影響を調査すること。

提案手法

• 回帰ベースのドライブモデルに適応した5つの敵対的攻撃手法（IT-FGSM、Opt、Opt_uni、AdvGAN、AdvGAN_uni）を再現した。
• 4つの防御技術を実装した：敵対的訓練、防御的蒸留、ハードウェア異常検出（GPU使用率/利用度）、および特徴の圧縮。
• ホワイトボックスおよびブラックボックス攻撃設定の下で、Udacityデータセットを用いて3つのCNNベースのドライブモデルで体系的な実験を実施した。
• 異なる攻撃タイプとモデルアーキテクチャの下で、攻撃成功率と防御の再現率/適合率を測定した。
• 攻撃の転送性を低減するためのモデルの難読化とプライバシー保護を緩和策として評価した。
• 再現可能性と今後の研究を支援するため、コード、モデル、データセットを公開した。

実験結果

リサーチクエスチョン

• RQ1 CNNベースのドライブ回帰モデルは、ホワイトボックスおよびブラックボックス設定において、どの程度敵対的攻撃に対して脆弱であるか？
• RQ2 既存の防御技術は、自動運転モデルに対する多様な敵対的攻撃をどの程度効果的に保護できるか？
• RQ3 敵対的例は異なるドライブモデル間でどの程度転送可能か？また、モデルの機密性は攻撃成功率にどのように影響するか？
• RQ4 モデルアーキテクチャの複雑さとシステムレベルの設計選択は、敵対的攻撃に対するレジリエンスにどのように影響するか？

主な発見

• テストされたすべてのドライブモデルは、ホワイトボックス設定において極めて脆弱であり、4つの攻撃（IT-FGSMを除く）の平均攻撃成功率は98％に達した（IT-FGSMは36％）。
• ブラックボックス攻撃の平均成功率はたった4％にとどまり、モデルの機密性が攻撃効果を著しく低下させることを示している。
• 1つの防御手法では、5つの攻撃タイプすべてに対して完全に保護できない。特徴の圧縮は最も広い検出カバレッジ（再現率78％）を示したが、誤検出率が非常に高かった（最大40％）。
• 敵対的訓練と防御的蒸留は、IT-FGSMおよび最適化ベースの攻撃に対してのみ有効であり、ハードウェア異常検出はこれら2つと部分的にAdvGANを検出できた。
• 複雑なアーキテクチャを持つドライブモデルは、単純なモデルよりも敵対的攻撃に対してよりレジリエントであることが判明し、アーキテクチャの複雑さが耐性を高めることを示唆している。
• 1つのドライブモデルから別のモデルへの敵対的例の転送性は低く、分類モデルとは対照的に、回帰モデルの挙動に根本的な違いがあることを示している。