[論文レビュー] Attacking Deep Reinforcement Learning-Based Traffic Signal Control Systems with Colluding Vehicles

Ao Qu, Yihong Tang+1 more|arXiv (Cornell University)|Nov 4, 2021

Adversarial Robustness in Machine Learning参考文献 31被引用数 4

ひとこと要約

本論文は、DRLに基づく交通信号制御システムを攻撃するために、複数の車両が偽の交通データを共同で送信することで、集団の移動時間を著しく短縮できる、深層強化学習に基づくフレームワーク「CollusionVeh」を提案する。この手法は、共有埋め込みと通信メカニズムを用いて車両を協調させ、最小限の行動空間で累積報酬（移動時間の短縮と相関）に最大65.7%の向上を達成する。

ABSTRACT

The rapid advancements of Internet of Things (IoT) and artificial intelligence (AI) have catalyzed the development of adaptive traffic signal control systems (ATCS) for smart cities. In particular, deep reinforcement learning (DRL) methods produce the state-of-the-art performance and have great potentials for practical applications. In the existing DRL-based ATCS, the controlled signals collect traffic state information from nearby vehicles, and then optimal actions (e.g., switching phases) can be determined based on the collected information. The DRL models fully "trust" that vehicles are sending the true information to the signals, making the ATCS vulnerable to adversarial attacks with falsified information. In view of this, this paper first time formulates a novel task in which a group of vehicles can cooperatively send falsified information to "cheat" DRL-based ATCS in order to save their total travel time. To solve the proposed task, we develop CollusionVeh, a generic and effective vehicle-colluding framework composed of a road situation encoder, a vehicle interpreter, and a communication mechanism. We employ our method to attack established DRL-based ATCS and demonstrate that the total travel time for the colluding vehicles can be significantly reduced with a reasonable number of learning episodes, and the colluding effect will decrease if the number of colluding vehicles increases. Additionally, insights and suggestions for the real-world deployment of DRL-based ATCS are provided. The research outcomes could help improve the reliability and robustness of the ATCS and better protect the smart mobility systems.

研究の動機と目的

• DRLベースの適応型交通信号制御システム（ATCS）が、偽の車両報告データを用いた協調的攻撃に対してどの程度脆弱であるかを調査すること。
• 複数のコネクテッド車両が協力して信号の意思決定を操作することで、合計移動時間を最小化する現実的で妥当な攻撃シナリオをモデル化すること。
• 共有表現と通信を用いて協力する車両が行動を調整できる汎用的で解釈可能なフレームワークを開発すること。
• 異なる協力サイズと行動空間制約の下で、協調的攻撃と個別的な欲張り戦略の有効性を評価すること。

提案手法

• 協力する車両がポリシー・パラメータを共有するマルチエージェントDRLフレームワークを設計し、シナリオ埋め込みを生成することで、交通状況の共同理解を可能にする。
• 道路状況エンコーダーを採用し、車両の観測からグローバルな交通状態表現を抽出することで、共有された文脈認識を実現する。
• 車両インタプリタを用いて、共有埋め込みと通信に基づき、個々の車両状態を実行可能な戦略にマッピングする。
• 信号フェーズ要求の際の衝突を避けるために、車両間での情報交換を可能にする通信メカニズムを導入する。
• 集団報酬（合計移動時間の逆数）を最適化するために、マルチエージェントアクタクリティック（MA2C）学習を適用する。
• 車両間でパラメータを共有することで、サンプル効率を向上させ、さまざまな交通シナリオに一般化可能にする。

実験結果

リサーチクエスチョン

• RQ1 複数の車両が協力的かつ偽の交通データを送信することで、DRLベースの交通信号制御システムを操作し、集団の移動時間を短縮できるか？
• RQ2 偽の情報を送信する際の協調的戦略と、常に最大可能な行動を要求する個別的な欲張り戦略とを比較すると、性能にどのような差が出るか？
• RQ3 協力グループの規模が、平均的および合計の移動時間の短縮にどのように影響するか？
• RQ4 行動空間（可能な信号フェーズ要求の数）が攻撃の有効性に与える影響は何か？
• RQ5 DRLベースのATCSに、このような協調的操作を可能にする主要なシステムレベルの脆弱性は何か？

主な発見

• CollusionVehを用いた協力的車両は、{0,1,2,3}という最小限の行動空間で、累積報酬に65.7%の向上を達成した（移動時間の短縮を示唆）。これは、低複雑性でも高い有効性を示している。
• 学習エピソードが増えるにつれて、協力グループの合計移動時間が著しく減少した。これは、ポリシー推論が十分に行われた後、攻撃が効果を発揮することを示している。
• 協力する車両の数が増えるにつれて、個々の車両が得られる時間の短縮量は減少した。これは、信号フェーズの獲得をめぐるグループ内競争によるリターンの逓減を示している。
• 行動空間が拡大するにつれて、CollusionVehの協調戦略は、常に最大行動を要求する欲張りベースラインを上回った。
• DRLポリシーが隠されており、車両がその内容を把握できない状況でも攻撃は有効であった。これは、この設定において模倣学習によるポリシー推論が可能であることを示している。
• 本研究は、DRLベースのATCSが、特にポリシーが頻繁に更新されない場合、協調的データ偽装に対して脆弱であることを明らかにした。