[論文レビュー] A Survey on Reinforcement Learning in Aviation Applications

Pouria Razzaghi, Amin Tabrizian+7 more|arXiv (Cornell University)|Nov 3, 2022

Air Traffic Management and Optimization被引用数 22

ひとこと要約

強化学習の方法と航空分野での適用に関する包括的な調査。標準的なRLの定式化、モデルベース vs モデルフリーのアプローチ、Actor-CriticとMARL、そして衝突回避、ATFM、ARM、飛行制御などの航空分野への選択的適用をカバーします。

ABSTRACT

Compared with model-based control and optimization methods, reinforcement learning (RL) provides a data-driven, learning-based framework to formulate and solve sequential decision-making problems. The RL framework has become promising due to largely improved data availability and computing power in the aviation industry. Many aviation-based applications can be formulated or treated as sequential decision-making problems. Some of them are offline planning problems, while others need to be solved online and are safety-critical. In this survey paper, we first describe standard RL formulations and solutions. Then we survey the landscape of existing RL-based applications in aviation. Finally, we summarize the paper, identify the technical gaps, and suggest future directions of RL research in aviation.

研究の動機と目的

• 航空の文脈でRL問題の定式化と主要概念を説明する。
• モデルフリーRL手法（価値ベース、方策ベース、Actor- critic）とその拡張を調査する。
• 航空分野での適用に関連する多エージェントRL（MARL）の役割を論じる。
• 衝突回避、航空交通流管理、収益管理、飛行制御などの航空分野における選択的なRL応用をレビューする。
• 航空分野のRL研究のギャップを特定し、今後の方向性を提案する。

提案手法

• MDPを用いた標準的なRL定式化を提示し、モデルベース vs モデルフリーのアプローチを論じる。
• 価値ベースの手法（Q-learning、DQNとその派生）と深層拡張を説明する。
• 方策ベースの手法（REINFORCE、DPG、DDPG、PPO、TRPO）とActor-Criticハイブリッドを説明する。
• マルチエージェントRL（MARL）フレームワークと集中学習/分散学習のパラダイムを概説する。
• 航空分野におけるRL応用の分類学を、例とアプローチとともにレビューする。

実験結果

リサーチクエスチョン

• RQ1 航空の逐次意思決定問題に最も適したRL定式化とアルゴリズムは何か？
• RQ2 モデルベース、モデルフリー、Actor-Critic手法は航空分野のどの領域でどう適用されてきたか？
• RQ3 航空文脈におけるMARLの役割と有効性はどの程度か？
• RQ4 現実世界のRL採用を阻む主な課題（検証、シミュレーションと現実のギャップ、サンプル効率、説明性）は何か？
• RQ5 航空分野の応用を進展させるための今後の方向性は何か？

主な発見

• RLは、安全性が重要なオンライン意思決定を含む、航空分野の逐次意思決定問題に対するデータ駆動型フレームワークを提供する。
• 価値ベース、方策ベース、Actor-Critic、MARLなど、さまざまなRL手法が航空タスクに対して検討されている。
• 衝突回避、ATFM、ARM、飛行制御は活発なRL応用領域であり、DQN、PPO、DDPG、MADDPG、SACなどの多様なアルゴリズムが選択されている。
• モデル検証、シミュレーションから現実へのギャップ、サンプル効率、およびDRLベースのコントローラの説明性といった課題がある。
• 調査は現実世界の航空展開のための正式な検証と柔軟で頑健なRLソリューションの必要性を強調している。