[論文レビュー] Using Parameterized Black-Box Priors to Scale Up Model-Based Policy Search for Robotics

Konstantinos Chatzilygeroudis, Jean-Baptiste Mouret|arXiv (Cornell University)|Sep 20, 2017

Reinforcement Learning in Robotics参考文献 48被引用数 32

ひとこと要約

本稿では、パラメータ化されたブラックボックス事前分布（特にダイナミクスシミュレータ）を用いるモデルベースのポリシー探索アルゴリズムであるBlack-DROPS with GP-MIを提案する。この手法により、高次元のロボットシステムにおけるデータ効率の良い強化学習が実現され、48次元の状態空間と18次元の行動空間を持つヘキサポッドロボットにおいて、30秒未満で有効なポリシー学習が達成された。ガウス過程によるモデル不確実性のモデリングとブラックボックス最適化フレームワークを組み合わせることで、完全な状態および損傷状態の両方において、先行手法を上回る性能を発揮した。

ABSTRACT

The most data-efficient algorithms for reinforcement learning in robotics are model-based policy search algorithms, which alternate between learning a dynamical model of the robot and optimizing a policy to maximize the expected return given the model and its uncertainties. Among the few proposed approaches, the recently introduced Black-DROPS algorithm exploits a black-box optimization algorithm to achieve both high data-efficiency and good computation times when several cores are used; nevertheless, like all model-based policy search approaches, Black-DROPS does not scale to high dimensional state/action spaces. In this paper, we introduce a new model learning procedure in Black-DROPS that leverages parameterized black-box priors to (1) scale up to high-dimensional systems, and (2) be robust to large inaccuracies of the prior information. We demonstrate the effectiveness of our approach with the "pendubot" swing-up task in simulation and with a physical hexapod robot (48D state space, 18D action space) that has to walk forward as fast as possible. The results show that our new algorithm is more data-efficient than previous model-based policy search algorithms (with and without priors) and that it can allow a physical 6-legged robot to learn new gaits in only 16 to 30 seconds of interaction time.

研究の動機と目的

• 高次元のロボットシステムへのモデルベースのポリシー探索のスケーラビリティを向上させること。特に、次元の呪いにより従来手法が失敗する状況を想定する。
• 微分可能モデルや構造的制約を必要とせず、ダイナミクスシミュレータからの事前知識を統合することで、現実世界のロボット学習におけるデータ効率性と計算時間の改善を図ること。
• モデルの不正確さや現実世界の不確実性に強く、特に損傷したまたは複雑なロボット構成下でもロバストなポリシー学習を可能にすること。
• ブラックボックス最適化と柔軟でチューナブルな事前分布を組み合わせることで、物理的ロボットにおける迅速な適応を可能にすること。

提案手法

• 高次元の状態空間と行動空間におけるポリシー探索を支援する、パラメータ化されたブラックボックス事前分布（例：物理シミュレータ）を用いる、Black-DROPSにおける新しいモデル学習手順を導入する。
• モデル不確実性のガウス過程モデリング（GP-MI）を採用し、不正確な事前モデルに対してもロバストな長期予測を可能にする。
• GPモデルから得た予測状態をチェーンし、それを再び事前シミュレータにフィードバックすることで、長時間スケールのダイナミクスをシミュレートするブラックボックス最適化フレームワークを採用する。
• 任意のポリシーおよび報酬パラメータ化を扱える、純粋にブラックボックスで勾配フリーの最適化戦略を適用し、ポリシー空間の完全な探索を可能にする。
• 学習中に事前モデルのパラメータを調整することで、事前モデルと現実のダイナミクスとの乖離に適応する。
• 現実世界の相互作用データと事前シミュレーションを統合し、データ効率的で反復的な方法でモデルとポリシーを改善する。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックス事前分布のみを用いて、高次元のロボットシステム（例：48次元状態、18次元行動空間）にモデルベースのポリシー探索アルゴリズムを効果的にスケーリングできるか？
• RQ2 パラメータ化されたブラックボックス事前分布の統合が、現実世界のロボット学習におけるデータ効率性と計算時間にどのように寄与するか？
• RQ3 事前モデルが不正確である場合やロボットが損傷している場合でも、アルゴリズムは性能とロバスト性を維持できるか？
• RQ4 学習速度および最終的なポリシー性能の観点から、最先端のモデルベースおよびベイズ最適化手法と比較して、本手法はどのように差をつけるか？

主な発見

• 提案手法は、物理的6本脚ヘキサポッドロボット（48次元状態、18次元行動空間）において、現実世界での相互作用時間16〜30秒の間で有効な歩行ポリシーを学習した。
• Black-DROPS with GP-MIは、健全なヘキサポッドロボットにおいて中央値で0.22 m/sの歩行速度を達成し、リアリティギャップのシナリオでIT&Eおよび他のベースラインを上回った。
• 後肢を除去した損傷状態では、8回目のエピソードで中央値0.21 m/sの速度を達成した。これに対してIT&Eはわずか0.15 m/sにとどまり、著しく劣っていた。
• アルゴリズムはより高いロバスト性を示し、転倒を避けるより安全なポリシーを一貫して選択した。一方、IT&Eは頻繁にロボットを転倒させた。
• GP-MIの使用により、効果的な不確実性モデリングが可能となり、事前シミュレータが不正確であっても、信頼性のある学習が可能になった。
• 本手法は、柔軟でブラックボックスなフレームワークを用いて、事前知識と現実世界データを効果的に統合し、再トレーニングやアーキテクチャ変更なしに迅速な適応を可能にした。