[論文レビュー] Model Predictive Actor-Critic: Accelerating Robot Skill Acquisition with Deep Reinforcement Learning

Andrew S. Morgan, Daljeet Nandha+4 more|arXiv (Cornell University)|Mar 25, 2021

Reinforcement Learning in Robotics参考文献 55被引用数 32

ひとこと要約

本稿では、モデル予測制御（MPC）のロールアウトと深層アクタ・クリティック学習を組み合わせることで、ロボットのスキル習得を高速化するハイブリッドなモデルベース／モデルフリー強化学習アルゴリズム、Model Predictive Actor-Critic（MoPAC）を提案する。MPCを用いた効率的で誘導された探索とMFRLによる頑健な方策最適化により、MoPACは環境との相互作用を削減するとともに、モデルバイアスを軽減し、シミュレーテッドおよび実ロボットの操作タスク、特に4本指ハンドを用いたイン・ハンド操作を含む、より速い収束と優れた性能を達成する。

ABSTRACT

Substantial advancements to model-based reinforcement learning algorithms have been impeded by the model-bias induced by the collected data, which generally hurts performance. Meanwhile, their inherent sample efficiency warrants utility for most robot applications, limiting potential damage to the robot and its environment during training. Inspired by information theoretic model predictive control and advances in deep reinforcement learning, we introduce Model Predictive Actor-Critic (MoPAC), a hybrid model-based/model-free method that combines model predictive rollouts with policy optimization as to mitigate model bias. MoPAC leverages optimal trajectories to guide policy learning, but explores via its model-free method, allowing the algorithm to learn more expressive dynamics models. This combination guarantees optimal skill learning up to an approximation error and reduces necessary physical interaction with the environment, making it suitable for real-robot training. We provide extensive results showcasing how our proposed method generally outperforms current state-of-the-art and conclude by evaluating MoPAC for learning on a physical robotic hand performing valve rotation and finger gaiting--a task that requires grasping, manipulation, and then regrasping of an object.

研究の動機と目的

• 実ロボット応用におけるモデルフリー深層強化学習（MFRL）のサンプル非効率性を解消すること。これは、過剰な環境との相互作用が損傷を引き起こすリスクを伴う。
• モデルベースRL（MBRL）に内在するモデルバイアスを克服すること。これは、不完全な動的モデルの利用によって性能が制限されるためである。
• MBRLのサンプル効率性とMFRLの探索能力を組み合わせることで、複雑なロボットタスクにおけるより速く、より頑健な方策学習を実現すること。
• モデルおよび価値関数の近似誤差の下で、理論的根拠に基づいた性能バインディングを提供する手法の開発。
• MoPACの有効性を、バルブの回転や指のギャティングを含む、挑戦的な実ロボットのイン・ハンド操作タスクで実証すること。

提案手法

• MoPACは、モデル予測制御（MPC）のロールアウトと深層アクタ・クリティックフレームワークを統合し、MPCを用いて高報酬の軌道を生成することで、方策学習を誘導する。
• 本手法は、自由エネルギー原理に基づく情報理論的MPCを採用し、報酬の搧取と探索のバランスを取るためにエントロピー制約を組み込む。
• モデル予測ロールアウトを用いて合成経験を収集し、方策最適化における実環境との相互作用への依存度を低減する。
• アクタ・クリティック部において最大エントロピー目的を採用することで、探索を促進し、より表現力のある動的モデルの学習を可能にする。
• アルゴリズムは、ロールアウト用の学習済み動的モデルと、アクション選択用の別個の方策ネットワークを用い、両者をオフポリシー更新により同時に学習する。
• 理論的性能バインディングを導出しており、モデルおよび価値関数の近似誤差が小さい場合、不完全なモデルであっても近似的に最適な性能が達成されることを示している。

実験結果

リサーチクエスチョン

• RQ1 MPCのロールアウトと深層アクタ・クリティック学習を組み合わせることで、ロボットのスキル習得に必要な実環境との相互作用回数を削減できるか？
• RQ2 MoPACは、モデルベースRLにおけるモデルバイアスをどのように軽減しつつ、サンプル効率性を維持するか？
• RQ3 MoPACは、イン・ハンドオブジェクトの回転や再グリップといった、接触が豊富な複雑な操作タスクにおいて、どれほど学習を加速できるか？
• RQ4 MPCベースの計画とMFRLによる探索の統合は、実ロボットプラットフォームにおける一般化性および頑健性を向上させるか？
• RQ5 モデルおよび価値関数の近似誤差の下で、MoPACの理論的性能保証は何か？

主な発見

• MoPACは、シミュレーテッド制御タスクにおいてMBPOなどの最先端手法を上回り、より少ない環境相互作用でより速い収束を達成した。
• 物理的な4本指ハンドでは、MoPACがベースラインと比較してバルブの回転および指のギャティングタスクを著しく高速に学習し、MBPOと比較して最大50％の訓練時間短縮を達成した。
• バルブ回転タスクでは約2時間で収束したが、指のギャティングタスクは約5時間で収束し、収束に必要なエピソード数も少なかった。
• モデルの不正確さに対しても頑健であることが実証され、近似誤差に関する理論的性能バインディングのおかげで、不完全な動的モデルであっても高い性能を維持した。
• MoPACは優れたサンプル効率性を達成し、物理的相互作用の必要性を低減したため、環境損傷の懸念がある実ロボットのデプロイメントに適している。
• 実験的結果は、MPCによる搧取とMFRLによる探索の組み合わせが、より表現力のある動的モデルおよび最適な方策の学習を可能にしたことを確認した。