[論文レビュー] Optimal Cost Design for Model Predictive Control

Avik Jain, Lawrence S. Chan+2 more|arXiv (Cornell University)|Apr 23, 2021

Advanced Control Systems Optimization参考文献 28被引用数 8

ひとこと要約

本稿では、モデル予測制御（MPC）のロールアウト性能を真のコスト $C$ において向上させるために、真のコスト $C$ を最適化するのではなく、代理コスト関数 $C'$ を学習するゼロ次最適化アプローチである最適コスト設計MPC（OCD-MPC）を提案する。この手法は、短い予測ホライズン、局所最適解、動的モデルの不正確さといった課題に対しても、MPCの性能を改善できる。$C'$ を学習することで、真の累積コストがより低くなるようにMPCのロールアウトを実行し、自律走行のシナリオにおいて初期状態や動的モデルの不一致に対しても頑健であることが実証された。

ABSTRACT

Many robotics domains use some form of nonconvex model predictive control (MPC) for planning, which sets a reduced time horizon, performs trajectory optimization, and replans at every step. The actual task typically requires a much longer horizon than is computationally tractable, and is specified via a cost function that cumulates over that full horizon. For instance, an autonomous car may have a cost function that makes a desired trade-off between efficiency, safety, and obeying traffic laws. In this work, we challenge the common assumption that the cost we optimize using MPC should be the same as the ground truth cost for the task (plus a terminal cost). MPC solvers can suffer from short planning horizons, local optima, incorrect dynamics models, and, importantly, fail to account for future replanning ability. Thus, we propose that in many tasks it could be beneficial to purposefully choose a different cost function for MPC to optimize: one that results in the MPC rollout having low ground truth cost, rather than the MPC planned trajectory. We formalize this as an optimal cost design problem, and propose a zeroth-order optimization-based approach that enables us to design optimal costs for an MPC planning robot in continuous MDPs. We test our approach in an autonomous driving domain where we find costs different from the ground truth that implicitly compensate for replanning, short horizon, incorrect dynamics models, and local minima issues. As an example, the learned cost incentivizes MPC to delay its decision until later, implicitly accounting for the fact that it will get more information in the future and be able to make a better decision. Code and videos available at https://sites.google.com/berkeley.edu/ocd-mpc/.

研究の動機と目的

• 短い計画ホライズン、局所最適解、不正確な動的モデル、将来の再計画を考慮しないことによるMPCの性能劣化を是正すること。
• MPCが真のタスクコスト $C$ を最適化すべきであるという仮定に挑戦し、代わりに学習した代理コスト $C'$ を最適化することで、より良いロールアウト性能が得られることを主張すること。
• 連続的なMDPにおけるゼロ次最適化タスクとして、MPCのための最適コスト設計問題を形式化すること。
• 自律走行環境において、未知の初期状態や動的モデルの不一致に対し、学習した代理コストが一般化するかどうかを評価すること。

提案手法

• 真の累積コストの最小化を目的として、MPCロールアウトの最適コスト設計問題を定式化し、真のコストを直接最適化するのではなく、それを目的とする。
• ゼロ次最適化（CMA-ES）を用いて、代理コスト関数 $C'$ の空間を探索し、そのフィットネス関数は真のコスト $C$ を用いて、$C'$ を使用したMPCロールアウトの性能を評価する。
• 初期状態をサンプリングし、複数の初期化においてロールアウトコストを低くするように最適化することで、$C'$ の一般化性能を向上させる。
• 真の動的モデル $f$ を用いて $C'$ のフィットネスを評価するが、MPCは近似モデル $\hat{f}$ を使用するため、実世界の動的モデル不一致を模擬する。
• 10個のシードに対するブートストラップ信頼区間を用いて、未知の初期状態における性能向上の統計的有意性を評価する。
• 代理コスト学習とターミナルコスト学習を組み合わせ、性能向上に相乗効果があることを示す。

実験結果

リサーチクエスチョン

• RQ1 MPCにための代理コスト関数 $C'$ を学習することで、真のコスト $C$ を直接最適化する場合よりも、真の累積ロールアウトコストが低くなるか？
• RQ2 自律走行シナリオにおいて、未知の初期状態に一般化された $C'$ の性能はどの程度か？
• RQ3 $C'$ は、短い計画ホライズン、局所最適解、不正確な動的モデルを補償できるか？
• RQ4 学習した $C'$ と学習したターミナルコストを組み合わせることで、単独で使用する場合よりも性能が向上するか？
• RQ5 未知の初期条件に一般化するためには、学習段階でどの程度の初期状態が必要か？

主な発見

• 3つの自律走行シナリオすべてにおいて、短いホライズンでも、真のコスト $C$ を直接最適化する場合に比べ、学習した代理コスト $C'$ を用いたMPCロールアウトが顕著に低い真の累積コストを達成した。
• 風によるノイズを真の動的モデルに追加した場合、OCD-MPCは動的モデル不一致が存在しない理想状態と同等の性能を示し、モデル誤差に対して頑健であることを示した。
• シナリオ1および2では、1つの学習初期化で十分に $C'$ が未知の初期状態に一般化され、平均ロールアウトコストが低く、分散も小さくなった。
• シナリオ3（再計画あり）では、$C'$ が真のコスト $C$ を使用した計画を一貫して上回るためには、5つ以上の初期状態で学習する必要があった。これは、多様な訓練データの必要性を示している。
• 学習した $C'$ と学習したターミナルコストの組み合わせは、単独で使用する場合よりも優れた性能を示し、相乗効果があることを示した。
• この手法は、将来的な再計画を考慮して意思決定を遅らせる（例：レーン変更を延期する）ような $C'$ を成功裏に学習した。これは、MPCの限界を戦略的に補償していることを示している。