[論文レビュー] Bait and Switch: Online Training Data Poisoning of Autonomous Driving Systems

Naman Patel, P. Krishnamurthy+2 more|arXiv (Cornell University)|Nov 8, 2020

Adversarial Robustness in Machine Learning参考文献 21被引用数 5

ひとこと要約

本論文は、自律走行システムのオンライン学習中に物理的に環境を操作することで、深層ニューラルネットワークが看板と信号機の状態の間の誤った相関関係を学習する、新しいクリーンラベルデータ汚染攻撃—「Bait and Switch」—を提案する。100%の信号機が汚染された場合、最終層の微調整のみでさえもモデルの精度が33.89%まで低下する。これは、現実世界のオンライン学習システムにおける深刻な脆弱性を示している。

ABSTRACT

We show that by controlling parts of a physical environment in which a pre-trained deep neural network (DNN) is being fine-tuned online, an adversary can launch subtle data poisoning attacks that degrade the performance of the system. While the attack can be applied in general to any perception task, we consider a DNN based traffic light classifier for an autonomous car that has been trained in one city and is being fine-tuned online in another city. We show that by injecting environmental perturbations that do not modify the traffic lights themselves or ground-truth labels, the adversary can cause the deep network to learn spurious concepts during the online learning phase. The attacker can leverage the introduced spurious concepts in the environment to cause the model's accuracy to degrade during operation; therefore, causing the system to malfunction.

研究の動機と目的

• オンライン学習を用いた自律走行システムに対する物理的でクリーンラベルのデータ汚染攻撃の実現可能性を調査すること。
• 訓練データやラベルを変更せずに、現実の環境を操作することでDNNに誤った相関関係を誘発する方法を検討すること。
• 部分的な微調整や環境の変化といったさまざまな条件下での攻撃の耐性および一般化性能を評価すること。
• 訓練環境に対する最小限の物理的変更ですら、展開済みモデルの性能に顕著な低下をもたらすことを実証すること。

提案手法

• 攻撃者は、オンライン学習フェーズ中に新しい都市の信号機の近くで電子看板の広告スペースを設置または購入する。
• 攻撃者は、訓練中、特定の画像（例：犬、猫、魚）を信号機の状態（赤、黄、緑）と同期させる（誘導段階）。
• DNNは、看板の画像と信号機の状態の間の誤った相関関係を学習し、それらを予測特徴と誤認する。
• 展開段階では、攻撃者が看板の画像と信号の対応を反転させる（切り替え段階）ことで、誤分類を引き起こす。
• 攻撃は、制御された環境的摂動を加えた実世界に類似したデータで訓練されたDNNベースの信号機分類器を用いてCARLAシミュレータで評価される。
• 攻撃の有効性は、汚染された信号機の数、微調整可能なパラメータ数、看板画像の変種といったさまざまな条件下で評価される。

実験結果

リサーチクエスチョン

• RQ1 オンライン学習中に物理的でクリーンラベルの環境変更を加えることで、DNNベースの信号機分類器に持続的な誤った相関関係を誘発できるか？
• RQ2 オンライン学習中にネットワークの一部の層しか微調整しない場合、攻撃の効果はどの程度か？
• RQ3 看板の位置が訓練時とは異なるテストシナリオにおいても攻撃は一般化するか？
• RQ4 汚染された環境的刺激にさらされた信号機の割合が増えると、攻撃の性能はどのように変化するか？
• RQ5 看板の画像の種類が攻撃の成功率に影響を与えるか？

主な発見

• 100%の信号機が攻撃者による看板で汚染された場合、テストセットにおけるモデルの精度は98.25%から33.89%に低下した。
• 37基中3基の信号機が汚染された場合でも、汚染された場所では精度が77%に低下し、全地点で85%に低下した。これは強い一般化性能を示している。
• 最終畳み込み層と全結合層のみを再訓練した場合でも攻撃は有効であり、汚染された場所での精度は73.7%まで低下した。
• 看板の位置がずれたテストシナリオに対しても攻撃は一般化し、類似した精度低下（37基中18基が汚染された場合で60%の精度）を維持した。
• 動物や模様などの異なる看板画像でも、攻撃の有効性は同等であり、18基の信号機が汚染された場合、精度は99.28%から64%に低下した。
• 訓練データやラベルを変更せずに、物理的環境の操作に依存するだけで、性能の顕著な低下を引き起こした。