[論文レビュー] Adaptive Guidance with Reinforcement Meta-Learning

Brian Gaudet, Richard Linares|arXiv (Cornell University)|Jan 12, 2019

Reinforcement Learning in Robotics参考文献 21被引用数 14

ひとこと要約

本論文は、時間変動する不確実な力学的特性下でもリアルタイムでの適応を可能にする、再帰的方策と価値関数を用いた強化学習メタラーニングフレームワークを提案する。4つの挑戦的タスク、特にエンジン故障や質量変動を伴う火星着陸を含め、非再帰的方策や従来の誘導則よりも優れた性能を達成し、システムパラメータの事前知識なしに頑健な適応を実現した。

ABSTRACT

This paper proposes a novel adaptive guidance system developed using reinforcement meta-learning with a recurrent policy and value function approximator. The use of recurrent network layers allows the deployed policy to adapt real time to environmental forces acting on the agent. We compare the performance of the DR/DV guidance law, an RL agent with a non-recurrent policy, and an RL agent with a recurrent policy in four difficult tasks with unknown but highly variable dynamics. These tasks include a safe Mars landing with random engine failure and a landing on an asteroid with unknown environmental dynamics. We also demonstrate the ability of a recurrent policy to navigate using only Doppler radar altimeter returns, thus integrating guidance and navigation.

研究の動機と目的

• 未知で変動が激しい宇宙船の力学的特性（質量変化、アクチュエータ故障、環境不確実性など）にリアルタイムで適応可能な誘導システムの開発を目的とする。
• 時間変動するシステムパラメータを伴う部分観測環境において、非再帰的強化学習方策の限界を解決することを目的とする。
• 再帰的ネットワークが時間的ダイナミクスを通じて観測されないシステム状態（例：質量、外力）を暗黙的に学習できることを示し、明示的な状態推定なしに頑健な性能を達成できることを目的とする。
• 高精度な宇宙ミッションシナリオ、特に小惑星着陸およびセンサノイズやシステム障害を伴う火星降下を含む、多様で高忠実度のシナリオにおいて、本手法の有効性を検証することを目的とする。

提案手法

• 方策および価値関数に再帰的ニューラルネットワーク層を組み込んだプロキシマルポリシー最適化（PPO）を採用し、時間的依存性を捉える隠れ状態を維持する。
• 再帰的方策の隠れ状態は、観測および行動の系列に応じて実行中に進化し、質量変化や推力効率の変化といった未モデル化された力学的ダイナミクスへのリアルタイム適応を可能にする。
• エージェントは、エンジン推力、質量、重力場など多様なランダム化されたシステムパラメータの分布をカバーするように訓練され、多様なMDPにおける適応戦略のメタラーニングが可能になる。
• 観測には部分的な状態情報（例：ドップラーレーダー高度計の出力）のみが含まれるため、再帰的ネットワークが不完全な測定から全状態ダイナミクスを推定する必要がある。
• 再帰的アーキテクチャにより、方策はメタラーニングの一種として機能し、実行中に遭遇する新しい力学的システムに素早く適応できる。
• 性能評価は4つのタスクで実施：未知の力学的特性を伴う小惑星着陸、ノイズのあるレーダーを伴う火星着陸、エンジン故障、降下中の質量変動が著しい状況。

実験結果

リサーチクエスチョン

• RQ1 強化学習フレームワークにおける再帰的方策は、リアルタイム実行中に未知で急激に変化する宇宙船の力学的特性に効果的に適応できるか？
• RQ2 再帰的方策は、非再帰的（MLP）方策および従来のDR/DV誘導則と比較して、エンジン故障や質量変動などのシステム不確実性をどのように処理できるか？
• RQ3 再帰的方策は、ドップラーレーダー返信などの部分観測から、観測されないシステム状態（例：質量、外部力）をどの程度正確に推定できるか？
• RQ4 ランダム化されたシステムパラメータで訓練することで、多様で複雑なミッションシナリオに一般化可能な頑健なメタラーニング方策が得られるか？
• RQ5 再帰的方策は、未知の環境的ダイナミクスを伴う高リスクなシナリオ（例：火星降下）において、安全かつ燃料効率の良い着陸を達成できるか？

主な発見

• 60ステップの再帰的方策は、エンジン故障を伴う火星着陸タスクで安全着陸を達成し、終端位置誤差が0.3 m（μ）、速度が1.00 m/s（μ）、燃料消費量が295 kg（μ）であった。これはDR/DV方策およびMLPベースラインを著しく上回った。
• 質量変動が著しい状況では、60ステップの再帰的方策が終端位置誤差0.6 m（μ）、速度1.06 m/s（μ）、燃料消費量1227 kg（μ）を達成し、大規模な質量変化にもかかわらず安全で効率的な降下を実現した。
• DR/DV方策は、エンジン故障および質量変動が著しい両タスクで崩壊的に失敗し、終端位置誤差が100 mを超えており、安全でない終端速度（20 m/s以上）を示した。
• 20ステップの再帰的方策は、エンジン故障タスクで最良の性能を示し、終端速度0.99 m/s（μ）および滑らかな滑走路角度49.99°を達成し、安定的で高精度な降下を実現した。
• 再帰的方策が、質量や推力の変化といった観測されないダイナミクスにリアルタイムで適応できることこそが、持続的記憶を持たないMLP方策が高不確実性下で性能を発揮できないことと対照的であった。
• 再帰的方策は、ドップラーレーダー高度計の返信のみを用いて正常に航行を実行し、完全な状態フィードバックを必要としない統合的誘導・ナビゲーションを実現した。