[論文レビュー] Explainable and Safe Reinforcement Learning for Autonomous Air Mobility

Lei Wang, Yang Hongyu+3 more|arXiv (Cornell University)|Nov 24, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、安全と効率の目的を別々のQ値ネットワークで分離することで、自律型空気交通管制（ATC）向けの完全に説明可能な深層強化学習（DRL）フレームワーク、SafeDQN-Xを提案する。安全に注意を向けたDQNと目標志向のDQNを独立して訓練し、その出力を統合することで、衝突回避性能が向上し、解釈可能な安全価値関数により透明性が向上する。また、全時間干渉ではなくわずか4回の攻撃で均一な攻撃を上回る効果を示す、標的型の敵対的攻撃に対する脆弱性も明らかにした。

ABSTRACT

Increasing traffic demands, higher levels of automation, and communication enhancements provide novel design opportunities for future air traffic controllers (ATCs). This article presents a novel deep reinforcement learning (DRL) controller to aid conflict resolution for autonomous free flight. Although DRL has achieved important advancements in this field, the existing works pay little attention to the explainability and safety issues related to DRL controllers, particularly the safety under adversarial attacks. To address those two issues, we design a fully explainable DRL framework wherein we: 1) decompose the coupled Q value learning model into a safety-awareness and efficiency (reach the target) one; and 2) use information from surrounding intruders as inputs, eliminating the needs of central controllers. In our simulated experiments, we show that by decoupling the safety-awareness and efficiency, we can exceed performance on free flight control tasks while dramatically improving explainability on practical. In addition, the safety Q learning module provides rich information about the safety situation of environments. To study the safety under adversarial attacks, we additionally propose an adversarial attack strategy that can impose both safety-oriented and efficiency-oriented attacks. The adversarial aims to minimize safety/efficiency by only attacking the agent at a few time steps. In the experiments, our attack strategy increases as many collisions as the uniform attack (i.e., attacking at every time step) by only attacking the agent four times less often, which provide insights into the capabilities and restrictions of the DRL in future ATC designs. The source code is publicly available at https://github.com/WLeiiiii/Gym-ATC-Attack-Project.

研究の動機と目的

• 既存の自律型空気交通管制（ATC）向け深層強化学習（DRL）コントローラーにおける説明可能性と安全なロバストネスの欠如に対処すること。
• 安全と効率の目的を別々の価値関数に分解することで、透明な意思決定を可能にするDRLフレームワークの開発。
• 特に少数の重要な時間ステップを標的にする攻撃に対して、DRLエージェントの安全性を評価すること。
• 中央集権的協調なしに、局所的で隣接する航空機の情報のみで効果的な衝突回避が可能かどうかを検証すること。
• 標的型の敵対的攻撃戦略を通じて、説明可能なDRL設計における構造的脆弱性を明らかにすること。

提案手法

• 従来のDQNを2つの独立したネットワークに分解：環境の安全性を評価する「Safe DQN」と、ターゲット到達効率を最大化する「Goal DQN」。
• ダイングDQNアーキテクチャを用いて、状態価値関数とアドバンテージ関数を別々に推定することで、安全価値と目標価値の解釈可能性を向上。
• 他の航空機との接近をペナルティとして課し、安全な間隔を促進する安全志向の報酬関数を用いてSafe DQNを訓練。
• 安全が優先される高リスク状態では、重み付き統合戦略により両ネットワークの行動を統合。
• 最大の影響を出すために、危険な意思決定ポイントにのみ摂動を注入する標的型の敵対的攻撃戦略を設計。
• Q値ヒートマップを用いて安全価値と行動確率マップを可視化し、モデルの解釈可能性と意思決定の透明性を示す。

実験結果

リサーチクエスチョン

• RQ1 DRLにおける安全と効率の分離が、自律的衝突回避における性能と説明可能性の両面で向上するか？
• RQ2 深層強化学習を用いたリアルタイム空気交通管制において、安全を定量的に測定・可視化する方法は何か？
• RQ3 少数の時間ステップにのみ標的を置く敵対的攻撃に対して、DRLベースのATCコントローラーはどの程度脆弱か？
• RQ4 自由飛行環境において、グローバルな監視データに代わって、局所的で隣接する情報のみで効果的な衝突回避が可能か？
• RQ5 透明でモジュール化されたDRL設計は、知的敵対者に利用可能な構造的弱みを露呈するか？

主な発見

• SafeDQN-Xは、安全と効率を分離することで、標準DQNを上回る衝突回避性能を達成し、より高い安全性と改善された収束性を実現した。
• Safe DQNが学習した安全価値関数は、環境の安全性を信頼性高く解釈可能な指標として提供し、安全状態では0.1352、危険状態では-0.0013の値を示した。
• 提案された敵対的攻撃戦略は、全時間ステップに攻撃する均一な攻撃と同等の衝突数を達成したが、攻撃頻度はわずか4回にまで減少した。
• 安全状態では、すべての行動の安全確率が類似しており、目標DQNが意思決定を支配する。危険状態では、安全DQNが目標DQNを上回り、回避を優先する。
• 安全と目標の好みが衝突する状況では、加速と安定したヘディングのバランスの取れた行動が選択され、二重目的の有効な統合が示された。
• 本研究では、DRLモデルにおける構造的透明性が、逆に設計上の脆弱性を露呈させ、高度に標的を絞った敵対的攻撃にさらされやすくなることが明らかになった。