[論文レビュー] Rolling Colors: Adversarial Laser Exploits against Traffic Light Recognition

Yan Chen, Zhijian Xu+3 more|arXiv (Cornell University)|Apr 6, 2022

Ocular and Laser Science Research被引用数 15

ひとこと要約

本論文は、CMOSカメラのローリングシャッターバグを悪用することで、レーザー誘発の敵対的攻撃が自動運転車両の信号機認識を操作可能であることを示している。制御された色のストライプをレーザーで照射することで、40メートル以上の距離からでも赤信号を緑信号として誤認識（86.25％の成功率）または緑信号を赤信号として誤認識（30％の成功率）させることができ、移動中の車両に対しても効果を示した。

ABSTRACT

Traffic light recognition is essential for fully autonomous driving in urban areas. In this paper, we investigate the feasibility of fooling traffic light recognition mechanisms by shedding laser interference on the camera. By exploiting the rolling shutter of CMOS sensors, we manage to inject a color stripe overlapped on the traffic light in the image, which can cause a red light to be recognized as a green light or vice versa. To increase the success rate, we design an optimization method to search for effective laser parameters based on empirical models of laser interference. Our evaluation in emulated and real-world setups on 2 state-of-the-art recognition systems and 5 cameras reports a maximum success rate of 30% and 86.25% for Red-to-Green and Green-to-Red attacks. We observe that the attack is effective in continuous frames from more than 40 meters away against a moving vehicle, which may cause end-to-end impacts on self-driving such as running a red light or emergency stop. To mitigate the threat, we propose redesigning the rolling shutter mechanism.

研究の動機と目的

• レーザー干渉を用いて自動運転車両の信号機認識を操作する可能性を調査すること。
• CMOSのローリングシャッターに内在する脆弱性を特定・利用し、画像に制御可能な色のストライプを注入すること。
• 攻撃の成功率を最大化しつつ信号機の検出可能性を保つために、効果的なレーザーパラメータを最適化する手法を開発すること。
• 複数のカメラおよび認識システムを用いて、実環境およびエミュレート環境での攻撃を評価すること。
• ローリングシャッター機構の再設計によって、攻撃を緩和するハードウェアレベルの対策を提案すること。

提案手法

• CMOSセンサのローリングシャッター機構を活用し、センサの各行の露出タイミングとレーザーパulsesを同期させることで、信号機領域に局所的な色のストライプを生成した。
• レーザー干渉がCMOSセンサに与える影響を実験的にモデル化し、攻撃効果のシミュレーションとパラメータ探索を支援した。
• 実験的モデルに基づくシミュレート画像を用いて、攻撃成功率を最大化するためのレーザーパラメータ（強度、継続時間、タイミングなど）を最適化した。
• レーザーダイオード、実際の信号機、およびTesla車両に搭載されたカメラを含む5台のカメラを用いた実環境実験を実施した。
• 2つの対策を提案した：露光行の順序をランダム化し、各フレームごとに異なる露光開始行を導入することで、注入されたストライプを画像全体に分散させた。
• 移動中の車両における連続フレームでの攻撃効果を評価し、リアルタイム走行状況を模倣した。

実験結果

リサーチクエスチョン

• RQ1 CMOSのローリングシャッター効果を介して、レーザー干渉を用いてカメラ画像の信号機領域に制御可能な色のパターンを注入できるか？
• RQ2 信号機の検出を回避しつつ、認識を欺く成功率を最大化するためのレーザーパラメータ（強度、継続時間、タイミング）は何か？
• RQ3 長距離（例：40メートル以上）および移動中の車両の連続フレームにおいても攻撃は成功するか？
• RQ4 実環境の動的状況下で、攻撃は信号機検出および認識システムにどのような影響を与えるか？
• RQ5 ハードウェアレベルで効果的なローリングシャッターに基づくレーザー攻撃の緩和策は何か？

主な発見

• 実環境テストにおいて、赤信号が緑信号として誤認識される攻撃が最大平均86.25％の成功率で成功した。
• 緑→赤攻撃では最大平均30％の成功率にとどまり、色および明るさの動的特性の影響により、より困難であることが示された。
• 移動中の車両から40メートル以上の距離でも連続フレームにおいて攻撃が有効であることが確認され、実用的実現可能性が裏付けられた。
• 攻撃は2つの最先端のオープンソース信号機認識システムおよび5台の異なるカメラ（Tesla車両に搭載されたものも含む）で検証された。
• 実験的モデルにより、レーザーのアライメントやタイミングの実世界の不確実性に対しても、効果的なパラメータ探索が可能であることが示された。
• ローリングシャッターを、ランダムな露光行順序や各フレームごとのランダムな開始行を採用するように再設計することで、ストライプが画像全体に分散され、攻撃が効果的に無効化された。