[論文レビュー] Solving Challenging Dexterous Manipulation Tasks With Trajectory Optimisation and Reinforcement Learning

Henry Charlesworth, Giovanni Montana|arXiv (Cornell University)|Sep 9, 2020

Robot Manipulation and Learning被引用数 5

ひとこと要約

本論文は、ロボットハンドにおける機敏な操作タスクの挑戦的なセットを導入し、物体の渡しやペンの回転を含む、既存の強化学習（RL）および軌道最適化（TO）手法が失敗するタスクを提示する。本研究では、先行手法を上回る性能を示す新しい軌道最適化アルゴリズム（TOPDM）を提案し、部分的に最適でないTOによるデモンストレーションとオフポリシーRL（TD3）を組み合わせることで、優れた性能を達成した。これにより、人間ですら困難なタスクである、無期限にペンを回転させることが可能になった。

ABSTRACT

Training agents to autonomously learn how to use anthropomorphic robotic hands has the potential to lead to systems capable of performing a multitude of complex manipulation tasks in unstructured and uncertain environments. In this work, we first introduce a suite of challenging simulated manipulation tasks that current reinforcement learning and trajectory optimisation techniques find difficult. These include environments where two simulated hands have to pass or throw objects between each other, as well as an environment where the agent must learn to spin a long pen between its fingers. We then introduce a simple trajectory optimisation that performs significantly better than existing methods on these environments. Finally, on the challenging PenSpin task we combine sub-optimal demonstrations generated through trajectory optimisation with off-policy reinforcement learning, obtaining performance that far exceeds either of these approaches individually, effectively solving the environment. Videos of all of our results are available at: https://dexterous-manipulation.github.io/

研究の動機と目的

• シミュレーション上での挑戦的な機械的操作タスクの新しいベンチマークセットを構築すること。特に、二本の手の協調制御やペンの回転のような複雑なインハンド操作を含む。
• これらの新しいタスクにおいて、既存のRLおよび軌道最適化（TO）手法が、特に報酬が疎で次元が高い制御設定において失敗することを解決すること。
• 既存手法よりも顕著に優れた性能を示す、新しい軌道最適化アルゴリズム（TOPDM）を開発すること。
• TOPDMが生成する部分的に最適なデモンストレーションと、オフポリシー強化学習（TD3）を組み合わせ、MPPIやTD3単体では達成できない最も困難なタスク（PenSpin）を解消すること。
• 不完全な、自動的に生成されたデモンストレーションが、複雑な機械的操作タスクにおけるRL性能を著しく向上させられることを示すこと。

提案手法

• MPPIなどの既存手法を改善する新しい軌道最適化アルゴリズム（TOPDM）を提案。アクション結合と軌道の反復的精錬を組み込む。
• 高次元のアクション空間において、勾配フリーでサンプリングベースのアプローチを用いて軌道を最適化。特にロボットハンド操作における複雑な接触ダイナミクスを扱うことに焦点を当てる。
• 複数の指における協調的で自然な動きを促進するために、アクション結合（ハイパーパrameter β）を導入。
• TOPDMが生成するデモンストレーションと、オフポリシー深層強化学習（TD3）を、「デモンストレーションリスタート」戦略により統合。RLエージェントはTOPDMの軌道で初期化される。
• PenSpin環境において、ペンの継続的な回転を促進する報酬形状戦略を採用。報酬は回転速度と安定性に基づく疎な報酬で構成される。
• 10回の独立した試行ごとに性能を検証し、中央値の報酬と信頼区間を用いて、耐久性および一般化性能を評価。

実験結果

リサーチクエスチョン

• RQ1 既存の強化学習および軌道最適化手法は、二本の手の協調と複雑なインハンド操作を含む、新しい極めて挑戦的な機械的操作タスクを解けるか？
• RQ2 新しい軌道最適化アルゴリズム（TOPDM）は、これらの新しいベンチマークタスクにおいて、既存のTOおよびRL手法を顕著に上回る性能を示せるか？
• RQ3 TOPDMが生成する部分的に最適なデモンストレーションと、オフポリシーRL（TD3）を組み合わせることで、それぞれの手法単体よりも優れた性能が得られるか？
• RQ4 高次元連続制御において、軌道品質およびその後のRL学習の質を向上させるために、アクション結合（β）はどの程度重要か？
• RQ5 TOとRLを統合したシステムは、人間レベルの難易度に匹敵するペンの回転という極めて困難なタスクにおいて、安定的かつ無期限の性能を達成できるか？

主な発見

• PenSpinタスクは極めて困難である。MPPIおよびTD3単体では、一貫した回転が達成できず、中央値報酬はほぼゼロに近い。
• TOPDMは、既存のTO手法を顕著に上回り、ほぼすべての試行でペンを回転させることができたが、250ステップの全期間にわたる継続的回転を維持することはできなかった。
• TOPDMのデモンストレーションとTD3を組み合わせた（デモリスタートを用いて）ポリシーは、それぞれの手法単体よりも顕著に高い中央値報酬を達成した。10回中8回の試行で、TD3のベースラインを上回った。
• アクション結合パラメータβは極めて重要である。β = 0.7では8/10の成功試行が得られたが、β = 1.0（結合なし）ではたった1/10の成功試行にとどまった。これは、結合がポリシーの一般化を向上させることを示している。
• TOPDMのデモンストレーションを用いて訓練された最終的なTD3ポリシーは、標準的な250ステップのエピソード長を超えて、ペンを無期限に回転させることができ、耐久的で長期的な性能を示した。
• これらの結果は、これまでに観察された中で最も印象的な、自律的システムが複雑な機械的操作タスクを学習する事例の一つであり、人間レベルの難易度に匹敵する。