[論文レビュー] Deep Reinforcement Learning for Safe Landing Site Selection with Concurrent Consideration of Divert Maneuvers

Keidai Iiyama, Kento Tomita+3 more|arXiv (Cornell University)|Feb 24, 2021

Air Traffic Management and Optimization参考文献 34被引用数 16

ひとこと要約

本論文は、障害物検出・回避プロセスを部分的に観測可能なマルコフ意思決定過程（POMDP）としてモデル化することで、安全な着陸地点選定と飛行中回避マニューバ計画を統合的に最適化する深層強化学習フレームワークを提案する。エージェントは自己符号化器を用いて地形の安全性マップを解釈し、リアルタイムで目標着陸地点とZEM-ZEV制御ゲインを動的に更新する。これにより、初期状態で80％以上が不適切な領域である極めて危険な環境でも94.8％の成功着陸を達成した。

ABSTRACT

This research proposes a new integrated framework for identifying safe landing locations and planning in-flight divert maneuvers. The state-of-the-art algorithms for landing zone selection utilize local terrain features such as slopes and roughness to judge the safety and priority of the landing point. However, when there are additional chances of observation and diverting in the future, these algorithms are not able to evaluate the safety of the decision itself to target the selected landing point considering the overall descent trajectory. In response to this challenge, we propose a reinforcement learning framework that optimizes a landing site selection strategy concurrently with a guidance and control strategy to the target landing site. The trained agent could evaluate and select landing sites with explicit consideration of the terrain features, quality of future observations, and control to achieve a safe and efficient landing trajectory at a system-level. The proposed framework was able to achieve 94.8 $\%$ of successful landing in highly challenging landing sites where over 80$\%$ of the area around the initial target lading point is hazardous, by effectively updating the target landing site and feedback control gain during descent.

研究の動機と目的

• 既存の着陸地点選定アルゴリズムが、目標選定と制御計画を分離して扱うという制限を解消すること。
• 降下過程における将来の観測品質、制御可能性、着陸地点の安全性の動的結合を考慮すること。
• 着陸地点選定と誘導制御を同時に最適化する統合フレームワークを構築し、システム全体の安全性と効率性を向上させること。
• 降下過程における逐次的観測から学習することで、地形の観測可能性と不確実性の変化に適応可能な応答を可能にすること。
• 視野が狭いか不確実性が高い状況で失敗する単一観測ポリシーの欠点を克服し、記憶とフィードバック制御の適応を可能にする複数ステップ意思決定を実現すること。

提案手法

• 障害物検出・回避（HDA）プロセスを部分的に観測可能なマルコフ意思決定過程（POMDP）としてモデル化し、地形認識と制御ダイナミクスにおける不確実性を捉える。
• LIDARから得られる地形安全性マップ（傾斜、粗さなど）をコンパクトな状態表現に変換するため、自己符号化器を備えた深層ニューラルネットワークを活用する。
• 現在の状態と観測履歴に基づいて、時間的に変化するZEM-ZEVフィードバック制御ゲイン（位置誤差ゲインと速度誤差ゲイン）を出力するポリシー・ネットワークを設計する。
• 高精度なシミュレーション環境で、降下ダイナミクス、センサ制限、地形障害物をモデル化し、PPOアルゴリズムを用いた深層強化学習によりエージェントを訓練する。
• 各新しい観測後に更新された地形評価に基づき、エージェントが目標着陸地点を再計画し、制御パrameterを調整できるようにすることで、オンライン適応を可能にする。
• 記憶なしのエージェントとLSTMを用いた記憶ありエージェント、固定ゲインZEM-ZEVコントローラ、単一回避マニューバベースラインポリシーの性能を比較し、頑健性と適応性を評価する。

実験結果

リサーチクエスチョン

• RQ1 極めて危険な地形において、着陸地点選定と飛行中回避マニューバ計画をどのように統合的に最適化することで安全性を向上させられるか？
• RQ2 視野が限られ、地形の危険度が高い状況下で、深層強化学習エージェントは、従来の単一観測または固定ゲインポリシーをどの程度上回る着陸成功確率を達成できるか？
• RQ3 LSTMによる記憶をポリシーに組み込むことで、逐次的観測が得られる部分的に観測可能な環境での性能にどのような影響を与えるか？
• RQ4 降下過程中に目標着陸地点を動的に変更することで、燃料効率、着陸精度、安全性の間でどのようなトレードオフが生じるか？
• RQ5 エージェントがリアルタイムで制御ゲインを適応的に変更することで、最終目標への収束性と着陸時の最終速度にどのような影響を与えるか？

主な発見

• 記憶なしの深層強化学習エージェントは、初期目標周辺の80％以上が不適切な領域である極めて危険な環境でも、94.8％の安全着陸成功確率を達成した。
• 記憶ありエージェントは88.3％の成功確率を示したが、これは部分的に観測可能な状況での頑健性向上を示しているが、本研究の特定条件下では記憶なしエージェントが優れた性能を示した。
• 固定ゲインコントローラ（3.786 m, 1.189 m/s）と比較して、エージェントは最終着陸誤差（2.492 m）と最終速度（0.637 m/s）を著しく低減し、精度とソフトランディング性能の向上を示した。
• エージェントの平均燃料消費量は利用可能な推進剤の69.88％であり、記憶ありエージェント（63.70％）と固定ゲインコントローラ（67.84％）よりも高かった。これは、頻繁な目標更新に伴う安全性と燃料効率のトレードオフを示している。
• トレースと制御履歴のプロットから、エージェントが降下過程中に着陸地点と制御ゲインを動的に変更する適応的行動を示した。推力と速度の調整は、地形の不確実性に応じて行われた。
• 単一回避マニューバポリシーは性能が低く（89.7％の成功）、特に視野や斜め角度が不適切な場合に初期観測品質に極めて敏感であった。これは、単一観測意思決定の限界を浮き彫りにした。