[論文レビュー] Constraint-Informed Learning for Warm Starting Trajectory Optimization

Julia Briden, Changrak Choi+3 more|arXiv (Cornell University)|Jan 1, 2023

Reservoir Engineering and Simulation Methods被引用数 2

ひとこと要約

本論文では、目的関数に基づくメルクス関数を用いた意思決定志向損失関数を活用し、トラジェクトリ最適化のためのウォームスタートを学習する制約を組み込んだ学習フレームワークであるTOASTを提案する。ラグランジュに基づく損失関数を用いて、ニューラルネットワークがプライマルおよび双対解を予測することで、収束を加速し、制約の満たし方を改善し、ベースライン手法と比較して計算時間を30%以上短縮し、制約違反を最大70%まで削減する。

ABSTRACT

Future spacecraft and surface robotic missions require increasingly capable autonomy stacks for exploring challenging and unstructured domains, and trajectory optimization will be a cornerstone of such autonomy stacks. However, the nonlinear optimization solvers required remain too slow for use on relatively resource-constrained flight-grade computers. In this work, we turn towards amortized optimization, a learning-based technique for accelerating optimization run times, and present TOAST: Trajectory Optimization with Merit Function Warm Starts. Offline, using data collected from a simulation, we train a neural network to learn a mapping to the full primal and dual solutions given the problem parameters. Crucially, we build upon recent results from decision-focused learning and present a set of decision-focused loss functions using the notion of merit functions for optimization problems. We show that training networks with such constraint-informed losses can better encode the structure of the trajectory optimization problem and jointly learn to reconstruct the primal-dual solution while yielding improved constraint satisfaction. Through numerical experiments on a Lunar rover problem and a 3-degrees-of-freedom Mars powered descent guidance problem, we demonstrate that TOAST outperforms benchmark approaches in terms of both computation times and network prediction constraint satisfaction.

研究の動機と目的

• リソース制約のあるフライトグレードのコンピュータにおける非線形トラジェクトリ最適化の計算ボトルネックを解消すること。
• 損失関数に問題の構造を組み込むことで、トラジェクトリ最適化の学習されたウォームスタートにおける制約の満たし方を改善すること。
• 物理的および安全制約を保持しながら、プライマルおよび双対解を同時に学習する手法を開発すること。
• 意思決定志向損失関数を用いたアモアタイズド学習により、オンライン最適化を高速化すること。
• 月面ローバーおよび火星の推力降下問題において、ベースライン学習法および従来のウォームスターティング手法と比較して優れた性能を示すことを実証すること。

提案手法

• トラジェクトリ最適化問題の問題パラメータを、完全なプライマルおよび双対解へマッピングするためのニューラルネットワークのオフライン学習。
• ラグランジュの目的関数とその勾配を組み合わせたメルクス関数を用いて、意思決定志向損失関数を設計し、最適化構造を符号化する。
• ラグランジュMSE、ラグランジュ勾配付き、および標準ラグランジュ損失関数を用いて、制約に配慮した監視のもとでネットワークを学習する。
• 訓練済みネットワークを用いて、逐次二次計画法（SQP）ソルバのウォームスタートを提供し、必要な反復回数を削減する。
• プライマルおよび双対変数の予測を統合し、KKT条件と整合性を保ち、収束性を向上させる。
• 2つの実世界問題（6自由度の月面ローバーMPCおよび3自由度の火星推力降下誘導問題）における評価。

実験結果

リサーチクエスチョン

• RQ1 メルクス関数に基づく意思決定志向学習による損失関数は、トラジェクトリ最適化の学習されたウォームスタートにおける制約の満たし方を改善できるか？
• RQ2 ラグランジュ関数とその勾配を損失関数に組み込むことで、標準MSE損失関数と比較して収束が速くなり、解の品質が向上するか？
• RQ3 制約を考慮した学習は、宇宙ミッションのトラジェクトリ最適化におけるオンライン計算時間の短縮にどの程度寄与するか？
• RQ4 TOASTの性能は、ベースライン学習法および従来のウォームスターティング戦略と比較して、制約違反と解の精度の観点でどのように異なるか？
• RQ5 提案手法は、パラメータの分布シフトが生じる異なる問題インスタンスに対しても一般化可能か？

主な発見

• ラグランジュMSE損失を用いたTOASTは、プライマルMSEと比較して制約違反の割合を8%削減し、平均的な制約違反度合いを約70%まで低減した。
• ラグランジュMSE損失は、プライマルMSEと比較して、状態軌道MSEで25%、制御入力MSEで50%の低減を達成した。
• トランスフォーマー構造では、TOASTにラグランジュMSEを適用した場合、プライマルMSEと比較して平均20msの高速化が達成され、直線的ウォームスタートと比較してSQP実行時間を30%以上短縮した。
• フィードフォワードニューラルネットワーク設定では、ラグランジュMSE損失により平均計算時間が2秒以上短縮（6.22秒から4秒に）、32%の高速化を達成した。
• LSTM構造では、標準MSEと比較して、意思決定志向損失を適用した場合、平均実行時間に最大63%の短縮が見られた。
• フィードフォワードネットワークにおいて、ラグランジュMSE損失を用いたTOASTは、わずかな状態誤差の増加があるものの、バニラMSE損失と比較して制約違反を5.67%〜8.21%まで低減した。