[論文レビュー] Benchmarking Offline Reinforcement Learning on Real-Robot Hardware

Nico Gürtler, Sebastian Blaes+6 more|arXiv (Cornell University)|Jul 28, 2023

Reinforcement Learning in Robotics被引用数 11

ひとこと要約

論文は TriFinger プラットフォーム上で収集されたリアルロボットのデックス・操作データセット（Push および Lift）を用いて offline RL アルゴリズムをベンチマークし、シミュレーションデータとリアルデータの性能ギャップおよびサブ最適な軌道の影響を浮き彫りにします。

ABSTRACT

Learning policies from previously recorded data is a promising direction for real-world robotics tasks, as online learning is often infeasible. Dexterous manipulation in particular remains an open problem in its general form. The combination of offline reinforcement learning with large diverse datasets, however, has the potential to lead to a breakthrough in this challenging domain analogously to the rapid progress made in supervised learning in recent years. To coordinate the efforts of the research community toward tackling this problem, we propose a benchmark including: i) a large collection of data for offline learning from a dexterous manipulation platform on two tasks, obtained with capable RL agents trained in simulation; ii) the option to execute learned policies on a real-world robotic system and a simulation for efficient debugging. We evaluate prominent open-sourced offline reinforcement learning algorithms on the datasets and provide a reproducible experimental setup for offline reinforcement learning on real systems.

研究の動機と目的

• リアルロボットのデックス・操作データセットを offline RL ベンチマークのために提供する。
• シミュレーションと実データの両方で offline RL アルゴリズムを比較する。
• offline RL の性能におけるデータ品質、サブ最適軌道、シム実間ギャップを分析する。
• 将来の研究のためのアクセス可能なリモート評価設定を提供する。

提案手法

• TriFinger での二つのタスク（Push および Lift）に対して、ドメインランダム化を用いたシミュレーション上でオンライン RL による expert-policy データを収集する。
• シミュレーションから実機への転送を可能にするため、ドメインランダム化を用いた GPU 加速並列シミュレーションで expert ポリシーを訓練する。
• 複数のデータセット variantes（Expert、Half-Expert、Weak&Expert、Mixed）を作成し、実ロボットデータとシミュレーションデータを公開する。
• d3rlpy のオープンソース offline RL アルゴリズム（BC、CRR、AWAC、CQL、IQL）を、固定ハイパーパラメータとシードベースの評価でこれらのデータセット上でベンチマークする。
• 再現性のあるテストのための実ロボットクラスターと PyBullet ベースのシミュレータへのリモートアクセスを含む評価プロトコルを提供する。

実験結果

リサーチクエスチョン

• RQ1 実データとシミュレーションデータに対して、最先端の offline RL アルゴリズムはどの程度の性能を示すか。
• RQ2 データ品質（expert 対 mixed 対 weak データ）が Push および Lift タスクの offline RL 性能に与える影響はどの程度か。
• RQ3 サブ最適な軌道の存在が、実データとシミュレーションデータの offline RL 学習とポリシー品質にどのような影響を与えるか。
• RQ4 遅延、ノイズ、実世界の接触ダイナミクスは、シミュレーションと実機の性能差をどの程度説明できるか。
• RQ5 シミュレーションデータ上で offline 学習したポリシーは、未知の実機ハードウェアにも一般化できるか。

主な発見

データ	BC	CRR	AWAC	CQL	IQL
Push-Sim-Expert	0.95	0.83±0.02	0.94±0.04	0.92±0.03	0.03±0.01	0.88±0.04
Push-Sim-Half-Expert	0.95	0.71±0.05	0.79±0.05	0.79±0.02	0.05±0.02	0.70±0.06
Push-Sim-Weak&Expert	0.53	0.53±0.09	0.88±0.03	0.83±0.05	0.17±0.03	0.66±0.14
Push-Sim-Mixed	0.76	0.53±0.04	0.09±0.10	0.84±0.06	0.02±0.01	0.69±0.07
Push-Real-Expert	0.92	0.74±0.05	0.87±0.07	0.80±0.03	0.54±0.13	0.75±0.08
Push-Real-Half-Expert	0.92	0.66±0.08	0.78±0.04	0.76±0.10	0.48±0.08	0.70±0.08
Push-Real-Weak&Expert	0.51	0.48±0.10	0.84±0.06	0.69±0.06	0.14±0.04	0.68±0.05
Push-Real-Mixed	0.49	0.29±0.06	0.30±0.06	0.61±0.09	0.02±0.02	0.66±0.08

• Push データセットでは offline RL 手法は概ね成功するが、実ロボットデータはシミュレーションデータに対する性能ギャップを示す。
• CQL は Push のシミュレーションではうまく学習できないが、実データでは改善され、実環境の方がより広いデータ分布を示唆する。
• CRR および AWAC は概して他手法より優れており、IQL はハイパーパラメータの調整後に競合的となる。
• Lift では CQL は最適化を含めても効果的に学習できず、実ロボットデータはシミュレーションデータより専門家性能との差が大きい。
• サブ最適な軌道は offline RL アルゴリズムの成功率を低下させ、特に Weak&Expert データを用いた Lift で顕著である。
• 実データで訓練したポリシーは、専門家データに対する性能ギャップが、シミュレーションに比べてより大きく現れる。これには現実世界のダイナミクスが鍵となる挑戦である。