[論文レビュー] Benchmarking Structured Policies and Policy Optimization for Real-World Dexterous Object Manipulation

Niklas Funk, Charles Schaff+11 more|arXiv (Cornell University)|May 5, 2021

Robot Manipulation and Learning参考文献 53被引用数 23

ひとこと要約

この論文は、TriFingerロボットプラットフォームを用いて、現実世界のデキストラスな操作における構造化ポリシーと最適化技術をベンチマークする。運動計画、コンプライアンスインピーダンス制御、および残差ポリシー学習のアプローチを提案し、ベイズ最適化がハイパーパramータチューニングを顕著に改善すること、残差ポリシーが耐障害性を向上させること（特に運動計画において）を示している。また、ドメインランダマイゼーションを用いずにシミュレーションから実機への転送に成功している。

ABSTRACT

Dexterous manipulation is a challenging and important problem in robotics. While data-driven methods are a promising approach, current benchmarks require simulation or extensive engineering support due to the sample inefficiency of popular methods. We present benchmarks for the TriFinger system, an open-source robotic platform for dexterous manipulation and the focus of the 2020 Real Robot Challenge. The benchmarked methods, which were successful in the challenge, can be generally described as structured policies, as they combine elements of classical robotics and modern policy optimization. This inclusion of inductive biases facilitates sample efficiency, interpretability, reliability and high performance. The key aspects of this benchmarking is validation of the baselines across both simulation and the real system, thorough ablation study over the core features of each solution, and a retrospective analysis of the challenge as a manipulation benchmark. The code and demo videos for this work can be found on our website (https://sites.google.com/view/benchmark-rrc).

研究の動機と目的

• オープンソースのTriFingerプラットフォームを用いて、現実世界のデキストラスな操作の再現可能なベンチマークを確立すること。
• 古典的ロボティクスと最新の強化学習を組み合わせた構造化ポリシーを評価し、サンプル効率と信頼性を向上させること。
• ベイズ最適化によるハイパーパramータ最適化と残差ポリシー学習の実世界での有効性を調査すること。
• 学習済みポリシーのシミュレーションから実機への転送性能を分析し、実世界での安定的運用を可能にする要因を同定すること。
• 2020年Real Robot Challengeのリトロスペクティブ分析を行い、今後のベンチマークおよびコンテスト設計に役立てる情報の提供

提案手法

• トルク指令を用いた運動計画（MP）、コンプライアンスインピーダンス制御（CIC）、タスク固有のグリップポリシー（CPC）の3つの構造化制御ポリシーを開発した。
• 各コントローラーのハイパーパramータチューニングにベイズ最適化（BO）を適用し、ガウス過程モデルを用いて目的関数の探索を支援した。
• 残差ポリシー学習（RPL）を統合し、強化学習によって補正行動を学習することで、ベースコントローラーを最適化した。
• シミュレーションおよび実際のTriFingerロボットを用いた広範なアブレーションスタディを実施し、複数のタスク変種およびゴール分布におけるパフォーマンスを評価した。
• スパースな密集報酬、最終位置誤差、1条件あたり20回のロールアウトにおけるドロップレートを含む、標準化された評価プロトコルを用いた。
• ドメインランダマイゼーションやファインチューニングなしに、シミュレーションから実機への転送性能を評価し、耐障害性と一般化能力を分析した。

実験結果

リサーチクエスチョン

• RQ1 古典的制御と学習成分を組み合わせた構造化ポリシーは、現実世界のデキストラスな操作タスクにおいて、正確性、信頼性、サンプル効率の観点でどのように比較されるか？
• RQ2 異なるポリシー構造において、ハイパーパramータチューニングを目的としたベイズ最適化が、どの程度コントローラーのパフォーマンスを向上させるか？
• RQ3 残差ポリシー学習は、実世界環境におけるベースコントローラーの耐障害性を向上させるか？ また、ドメインランダマイゼーションを用いずにシミュレーションから実機への転送に成功するか？
• RQ4 シミュレーションと実世界でのデプロイメントにおけるパフォーマンス特性の違いは何か？ また、シミュレーションから実世界へのギャップを生じさせる要因は何か？
• RQ5 2020年Real Robot Challengeから得られるインサイトは、今後のデキストラスな操作のためのベンチマークおよびコンテストプロトコル設計にどのように活かせるか？

主な発見

• ベイズ最適化は、L3タスクにおいてすべてのコントローラーで顕著にパフォーマンスを向上させ、シミュレーションおよび実世界評価の両方で平均スパースな密集報酬を向上させ、位置誤差を低減した。
• MP-PGコントローラーでは、残差ポリシー学習により、実システムでのドロップレートを40.0％から1.74％に低下させ、グリップの安定性を向上させ、深刻な故障を防止した。
• CPC-TGコントローラーは、シミュレーションで最高の報酬（−70.0 ± 9.42）と低いドロップレート（0.25 ± 0.15）を達成したが、実世界での実行におけるより高い信頼性から、MP-PGコントローラーがコンテストで優勝した。
• 驚くべきことに、残差ポリシーはファインチューニングやドメインランダマイゼーションなしに、シミュレーションから実機ハードウェアへ直接転送可能であり、強力な一般化能力を示した。
• CIC-CGコントローラーはBOによりパフォーマンスが向上し、シミュレーションで平均報酬−570 ± 350.6、ドロップレート3.52 ± 3.91を達成した。実世界でのパフォーマンス劣化は最小限に抑えられた。
• 手動によるハイパーパラメータの事前知識がなくても、BOは手動チューニングの性能に匹敵または上回るパrameterを最適化した。これは、実世界制御最適化においてBOの有効性を示している。