[論文レビュー] Curious iLQR: Resolving Uncertainty in Model-based RL

Sarah Bechtle, Yixin Lin+3 more|arXiv (Cornell University)|Apr 15, 2019

Reinforcement Learning in Robotics参考文献 29被引用数 16

ひとこと要約

本論文では、モデルの不確実性を軌道最適化に統合することで探索を向上させる、モデルベース強化学習フレームワークであるCurious iLQRを提案する。リスクセンシティブなiLQR定式化を用いて、タスクコストと予測分散の両方を最小化することで、シミュレーション上および実機ロボットにおける7-DoFマニピュレータにおいて、標準的なiLQRと比較して学習を加速し、収束が速く、新しいタスクへの一般化性能が優れている。

ABSTRACT

Curiosity as a means to explore during reinforcement learning problems has recently become very popular. However, very little progress has been made in utilizing curiosity for learning control. In this work, we propose a model-based reinforcement learning (MBRL) framework that combines Bayesian modeling of the system dynamics with curious iLQR, an iterative LQR approach that considers model uncertainty. During trajectory optimization the curious iLQR attempts to minimize both the task-dependent cost and the uncertainty in the dynamics model. We demonstrate the approach on reaching tasks with 7-DoF manipulators in simulation and on a real robot. Our experiments show that MBRL with curious iLQR reaches desired end-effector targets more reliably and with less system rollouts when learning a new task from scratch, and that the learned model generalizes better to new reaching tasks.

研究の動機と目的

• モデルベース強化学習におけるモデルバイアスを解消するため、ポリシー最適化中に動的モデルの不確実性を能動的に低減すること。
• 示範なしで、サンプル効率的かつ一般化可能なポリシー学習を現実のロボットプラットフォームで可能にすること。
• 不確実性に基づく好奇心を軌道最適化に統合することで、タスクパフォーマンスとモデル一般化性能を向上させること。
• 高次元のロボットシステム（7-DoFマニピュレータ）における本手法のスケーラビリティとロバストネスを示すこと。

提案手法

• 本手法は、不確実性推定を伴う確率的ガウス過程モデルを用いてロボットのダイナミクスを表現する。
• 予測分散の指数関数を含むリスクセンシティブなコスト関数を用いて、反復的LQR（iLQR）を拡張し、不確実性を低減する行動を好む。
• コスト関数はタスク固有のコストとモデル予測分散を組み合わせており、不確実な状態-行動領域の探索を促進する。
• アルゴリズムは、収集したロールアウトからダイナミクスモデルを学習し、Curious iLQRによる制御ポリシーを最適化するのを繰り返す。
• 不確実性がリスクセンシティブ制御を通じてコストに明示的に組み込まれており、モデル分散の直接最適化が可能になる。
• フレームワークは繰り返し適用され、各ロールアウトでモデルが改善され、ポリシーが精錬され、学習ループが閉じられる。

実験結果

リサーチクエスチョン

• RQ1 軌道最適化にモデル不確実性を統合することで、モデルベースRLにおけるサンプル効率が向上するか？
• RQ2 不確実性低減による好奇心駆動型探索は、新しいタスクにおける収束を速くするか？
• RQ3 好奇心を用いて学習したモデルは、標準的なiLQRで学習したモデルと比較して、未観測の到達ターゲットに対してより良い一般化性能を示すか？
• RQ4 本手法は、事前示範なしで実世界の7-DoFロボットプラットフォームでどのように性能を発揮するか？

主な発見

• Sawyerロボットでは、Curious iLQRは平均3.5回の学習イテレーションでターゲットに到達し、精度7 cmを達成した。一方、標準的なiLQRでは5.9回のイテレーションと14 cmの精度であった。
• シミュレーションでは、Curious iLQRは平均到達精度0.26 mを達成し、標準的なiLQRの0.7 mを著しく上回った。
• 好奇心を用いて学習したモデルは、未観測のターゲットに対してより高い精度で一般化し、好奇心なしに学習したモデルと比較して優れた性能を示した。
• シミュレーションおよびハードウェア実験の両方で、標準的なiLQRと比較して、システムのロールアウト回数を40%以上削減した。
• 探索信号は時間経過とともに減少し、モデルの不確実性が解消された後、ロボットが探索から実行に移行したことを示している。
• 測定ノイズや低コントロール周波数（100 Hz）の影響を受けても、実機上での3回の繰り返し実験で、本手法はロバストで再現性のある性能を示した。