[論文レビュー] Practical Reinforcement Learning For MPC: Learning from sparse objectives in under an hour on a real robot

Napat Karnchanachari, Miguel I. Valls+2 more|arXiv (Cornell University)|Mar 6, 2020

Advanced Control Systems Optimization被引用数 7

ひとこと要約

本論文は、実世界の無人地面車両（UGV）におけるモデル予測制御（MPC）の性能を向上させるために、スパarsなバイナリ報酬からの価値関数の学習を実用的な強化学習手法として提案する。勾配正則化、経験再生、nステップターゲットを用いた深層価値関数学習とMPCの統合により、搭載CPU上での実世界学習を30分以内に実行し、エキスパート水準の性能を達成した。これは、ベースラインMPCおよび密度報酬を用いた強化学習ベースラインを上回った。

ABSTRACT

Model Predictive Control (MPC) is a powerful control technique that handles constraints, takes the system's dynamics into account, and optimizes for a given cost function. In practice, however, it often requires an expert to craft and tune this cost function and find trade-offs between different state penalties to satisfy simple high level objectives. In this paper, we use Reinforcement Learning and in particular value learning to approximate the value function given only high level objectives, which can be sparse and binary. Building upon previous works, we present improvements that allowed us to successfully deploy the method on a real world unmanned ground vehicle. Our experiments show that our method can learn the cost function from scratch and without human intervention, while reaching a performance level similar to that of an expert-tuned MPC. We perform a quantitative comparison of these methods with standard MPC approaches both in simulation and on the real robot.

研究の動機と目的

• 高レベルのスパarsな目的関数のみを用いて、エンドツーエンドで人間の介入なしにMPCコントローラーを訓練すること。
• 価値ベースの強化学習を用いて、MPCにおける複雑なコスト関数のチューニングの課題を克服すること。
• 最小限の計算リソースを用いて、物理的ロボット上でサンプル効率的かつリアルタイムに学習すること。
• シミュレーションおよび実ハードウェア上での学習ベースMPCと標準MPC、エキスパートチューニングMPCの性能を比較すること。
• スパars報酬からの価値関数学習が、実世界での展開において密度報酬を用いた強化学習を上回ることを検証すること。

提案手法

• 本手法は、評価関数 $ V_{\theta}(\boldsymbol{s}) $ を推定する深層ニューラルネットワークであるクライアント（critic）を用いたアクター・クリティックフレームワークを採用し、時系列差分学習と平均二乗誤差損失関数により学習を行う。
• MPC最適化中の数値的安定性と収束性を向上させるために、価値ネットワークのヤコビアンに勾配正則化を適用する。
• システムの対称性に基づくデータ拡張を用いた経験再生により、対称な状態間での一般化性とサンプル効率が向上する。
• バイアスと分散のバランスを取るためにnステップリターンターゲットを用い、学習収束を加速する。
• オンラインネットワークとは分離されたブートストラップターゲットを提供するためにターゲットネットワークを採用し、学習を安定化させる。
• MPCアクターは学習済み価値関数をターミナルコストとして用いることで、グローバル最適化と改善された軌道計画が可能になる。

実験結果

リサーチクエスチョン

• RQ1 スパarsでバイナリな報酬からのみ価値関数を学習した場合、実ロボット上でのエキスパートチューニングMPCと同等のMPC性能を達成できるか？
• RQ2 価値関数学習とMPCを統合することで、物理的システムにおけるサンプル効率と収束性が向上するか？
• RQ3 搭載CPUのみを用いて完全にオンボードで学習が可能であり、1時間以内に高い性能を達成できるか？
• RQ4 実世界での展開において、スパars報酬からの学習と密度報酬からの学習を比較すると、どちらが優れているか？
• RQ5 勾配正則化とデータ拡張は、実世界MPCにおける学習安定性と性能向上にどの程度寄与するか？

主な発見

• 本手法は、搭載CPU上での実世界学習を30分以内に実行し、エキスパートチューニングMPCコントローラーと同等の性能を達成した。
• シミュレーションおよび実世界の両方の実験で、標準MPCベースラインおよび密度報酬を用いた強化学習ベースラインを上回る性能を示した。
• 勾配正則化は、学習中のMPC最適化を安定化させ、発散を防ぎ、実世界での展開を可能にする上で不可欠であった。
• システムの対称性に基づくデータ拡張により、追加のデータ収集を必要とせずに一般化性とサンプル効率が向上した。
• nステップリターンターゲットは、TD(0)やモンテカルロターゲットと比較して、より速い収束をもたらした。
• 本手法は、スパarsでバイナリな報酬からのみ学習を実行でき、長時間スパンのタスクにおけるスパarsな報酬割り当てに対しても頑健であることを示した。