[論文レビュー] Real-time optimal control via Deep Neural Networks: study on landing problems

Carlos Sánchez‐Sánchez, Dario Izzo|arXiv (Cornell University)|Oct 27, 2016

Spacecraft Dynamics and Control被引用数 7

ひとこと要約

本論文は、決定的で連続時間の非線形航空宇宙システムにおける高精度の惑星着陸のため、リアルタイム最適制御ポリシーを学習するために深層ニューラルネットワーク（DNN）を提案する。間接シャッティング法により得られた最適な状態-行動ペアを用いた教師あり学習により訓練されたDNNは、訓練データをはるかに超えて一般化でき、質量の変化や推力制約が存在する状況でも、最小限の計算コストで高精度なリアルタイム制御を実現する。

ABSTRACT

Recent research on deep learning, a set of machine learning techniques able to learn deep architectures, has shown how robotic perception and action greatly benefits from these techniques. In terms of spacecraft navigation and control system, this suggests that deep architectures may be considered now to drive all or part of the on-board decision making system. In this paper this claim is investigated in more detail training deep artificial neural networks to represent the optimal control action during a pinpoint landing, assuming perfect state information. It is found to be possible to train deep networks for this purpose and that the resulting landings, driven by the trained networks, are close to simulated optimal ones. These results allow for the design of an on-board real time optimal control system able to cope with large sets of possible initial states while still producing an optimal response.

研究の動機と目的

• 深層ニューラルネットワークが、決定的で連続時間の非線形システムにおける高精度の惑星着陸の最適状態フィードバック制御ポリシーを効果的に近似できるかどうかを調査すること。
• 計算コストの高い最適制御ソルバーに代えて、軽量で訓練済みのDNNを用いることで、オンボードでのリアルタイム制御を可能にすること。
• DNNの一般化能力を、訓練分布外の初期状態に対して評価し、非定常な状況でもロバストであることを保証すること。
• 複数の宇宙船モデルを用いて、DNN駆動の軌道とシミュレートされた最適解との性能および最適性を比較して評価すること。
• DNNがシステムの動的特性を暗黙的に学習しているかどうかを検討し、着陸後の安定したホバリングおよび長期的なターゲット維持を可能にするかを調査すること。

提案手法

• 最適制御のための間接シャッティング法により生成された最適な状態-行動ペアを用いて、教師あり学習により深層フィeedforwardニューラルネットワークを訓練する。
• DNNの入力として完全な状態情報を使用し、出力として制御行動（例：推力、ピッチ）を提供する。訓練は定義された状態空間領域 $\mathcal{A}$ 内の多様な初期状態に対して実施する。
• 4つのモデル（マルチコプター、制限付き推力を持つ質量変化型宇宙船、リアクションホイール制御型宇宙船、推力ベクトル制御型ロケット）に対して、異なるアーキテクチャを適用する。
• ネットワークをオフラインで最適軌道のデータセットを用いて訓練し、その後オンボードでリアルタイム推論を実行する際の計算オーバーヘッドを最小限に抑える。
• 一般化能力を評価するため、$\mathcal{A}$ を超える初期状態に対してテストを実施し、訓練中に観測されていなかった上向きの推力要件を含むケースも含める。
• 着陸後の長期的挙動を分析し、DNNが質量減少に伴う推力の低下などの動的補償を暗黙的に学習しているかどうかを評価する。

実験結果

リサーチクエスチョン

• RQ1 完全な状態観測が可能な条件下で、深層ニューラルネットワークは連続時間の非線形で決定的な航空宇宙システムに対して最適制御ポリシーを正確に近似できるか？
• RQ2 DNNは、質量変動や姿勢制御といった複雑なダイナミクスを含む、訓練分布外の初期状態に対してもどの程度一般化できるか？
• RQ3 DNNは、安定的かつ最適な挙動を訓練領域外でも示すために、背後にあるハミルトニアン・ジョルダン・ベルマン（HJB）解構造を学習しているか？
• RQ4 ネットワークの深さは、浅いネットワークと比較して、学習した制御ポリシーの質にどの程度影響を与えるか？
• RQ5 宇宙船の推進剤消費に伴い質量が減少する中で、ターゲット到着後もDNNが安定したホバリングを維持できるか。これは、システムの動的特性が暗黙的に学習されている証左となる。

主な発見

• 4つのテストモデル（マルチコプター、制限付き推力を持つ質量変化型宇宙船、リアクションホイール制御型、推力ベクトル制御型ロケット）すべてに対して、DNNは高精度で最適制御ポリシーを学習し、ほぼ最適な性能を達成した。
• マルチコプターのモデルでは、訓練領域 $\mathcal{A}$ 内で100%の成功率を達成し、最終的な目的関数の最適性誤差は1.82%であった。さらに、拡張領域 $\mathcal{A}_1$ および $\mathcal{A}_2$ に対しても高い性能（84.4%の成功率）を維持した。
• リアクションホイール制御型宇宙船モデル（RWSC-MOC）は、$\mathcal{A}_1$ で57.9%、$\mathcal{A}_2$ で34.9%の成功率を示し、平均ターゲット距離はそれぞれ9.34 mおよび9.48 m、最適性誤差は1.13%および0.86%であった。
• シンプルな宇宙船（SSC-MOC）は、$\mathcal{A}_1$ で88.8%、$\mathcal{A}_2$ で57.8%の成功率を示したが、平均ターゲット距離は27.71 mおよび521.44 mと大きく、拡張領域で深刻な失敗が発生していることが示唆された。
• 驚くべきことに、DNN駆動の軌道は、ターゲット到着後も長期間にわたり安定したホバリングを示した。質量減少に伴い推力が自動的に低下する現象が観察されたが、これはシステムの動的特性が暗黙的に学習された証左である。
• DNNの深さは極めて重要であった。浅いネットワークでは最適制御ポリシーの複雑な構造を捉えられなかったが、より深いアーキテクチャでは著しく優れた性能と一般化能力を示した。