[論文レビュー] Latent Plans for Task-Agnostic Offline Reinforcement Learning

Erick Rosete-Beas, Oier Mees+3 more|arXiv (Cornell University)|Sep 19, 2022

Human Pose and Action Recognition被引用数 5

ひとこと要約

本稿では、非構造化されたプレイデータからの潜在的スキル発見のための模倣学習と、タスクに依存しない長時間スパンのロボット制御を可能にするために、高レベルのスキルチェーニングのためのオフライン強化学習を組み合わせた階層的オフライン強化学習フレームワーク、TACO-RLを提案する。遠隔操作によるデモンストレーションから潜在的プランを学習し、後向き再ラベル付けを用いてゴール条件付きの高レベルポリシーを訓練することで、シミュレーションおよび実世界の操作タスクにおいて、最先端のベースラインと比較して最大1桁の性能向上を達成した。1つの7自由度ポリシーが25の多様な実世界タスクを解決できた。

ABSTRACT

Everyday tasks of long-horizon and comprising a sequence of multiple implicit subtasks still impose a major challenge in offline robot control. While a number of prior methods aimed to address this setting with variants of imitation and offline reinforcement learning, the learned behavior is typically narrow and often struggles to reach configurable long-horizon goals. As both paradigms have complementary strengths and weaknesses, we propose a novel hierarchical approach that combines the strengths of both methods to learn task-agnostic long-horizon policies from high-dimensional camera observations. Concretely, we combine a low-level policy that learns latent skills via imitation learning and a high-level policy learned from offline reinforcement learning for skill-chaining the latent behavior priors. Experiments in various simulated and real robot control tasks show that our formulation enables producing previously unseen combinations of skills to reach temporally extended goals by "stitching" together latent skills through goal chaining with an order-of-magnitude improvement in performance upon state-of-the-art baselines. We even learn one multi-task visuomotor policy for 25 distinct manipulation tasks in the real world which outperforms both imitation learning and offline reinforcement learning techniques.

研究の動機と目的

• 高次元の視覚的観測からオフライン強化学習において長時間スパンでタスクに依存しないポリシーを学習する課題に対処すること。
• 長時間スパンと高次元状態空間において困難を抱える既存のオフライン強化学習手法の限界を克服すること。
• 事前に定義されたタスクがなく、遠隔操作によって収集された非構造化プレイデータを活用し、自己教師付き模倣学習により再利用可能な潜在的スキルを発見すること。
• 高レベルのゴール条件付きポリシーを用いて学習した潜在的行動を連結することで、未観測のゴール状態や複雑で順序付けられたタスクへの一般化を可能にすること。
• シミュレーションおよび実世界のロボット操作タスクにおいて、単独の模倣学習およびオフライン強化学習ベースラインと比較して優れた性能を達成すること。

提案手法

• 遠隔操作による非構造化プレイデータを活用し、模倣学習により潜在的プランからモータ行動へのマッピングを事前学習する低レベルポリシーを学習する。
• 高レベルポリシーが潜在的プラン空間で動作する階層的ポリシーを学習し、離散的または連続的な潜在的スキルを出力し、低レベルポリシーがそのスキルをデコードする。
• 後向き経験リプレイ（HER）を用いたオフライン強化学習により高レベルポリシーを訓練し、遷移の再ラベル付けによってサンプル効率を向上させる。
• ゴール条件付きの定式化を採用し、高レベルポリシーがターゲット状態に到達するための潜在的プランを予測することで、強化学習問題の有効なホライズンを短縮する。
• 非最適または部分的に最適な軌道を含むオフラインデータセットに、後向き再ラベル付けを適用して一般化性能を向上させ、非最適な軌道からの学習を可能にする。
• 実世界の展開における視覚的接地性の向上とオクルージョン問題の低減を図るため、グリッパーとカメラのRGB画像を追加入力として統合する。

実験結果

リサーチクエスチョン

• RQ1 非構造化プレイデータから効果的にタスクに依存しない長時間スパンのポリシーを学習できる階層的オフライン強化学習フレームワークは、実現可能か？
• RQ2 潜在的スキル発見のための模倣学習と、スキルチェーニングのためのオフライン強化学習を組み合わせることで、長時間スパンのタスクにおいて最先端の模倣学習およびオフライン強化学習手法を上回る性能が得られるか？
• RQ3 シミュレーションおよび実世界において、未観測のゴール状態や複雑で順序付けられた操作タスクへの一般化性能はどの程度か？
• RQ4 後向き再ラベル付けの使用が、高レベルポリシー訓練におけるサンプル効率および性能向上にどの程度寄与するか？
• RQ5 ラベルなしプレイデータのみを用いて、1つのマルチタスク可視運動ポリシーを学習し、多様で長時間スパンの操作タスクを解決できるか？

主な発見

• TACO-RLは25の実世界操作タスクにおいて平均61%の成功率を達成し、LMP（40%）およびCQL+HER（11%）のベースラインを大きく上回った。
• 実世界実験では、TACO-RLは「ドアを閉じる」タスクで90%の成功率、「スライダを左に移動する」タスクで75%の成功率を達成し、ベースラインと比較して顕著な優位性を示した。
• 本手法は優れたゼロショット一般化性能を示し、1枚のゴール画像のみを用いて、ブロックの積み重ねや遠くの位置へのブロック移動といった複雑で順序付けられたタスクを効果的に実行できた。
• シミュレーション環境では、TACO-RLは長時間スパンタスクにおいて最先端のベースラインと比較して最大1桁の性能向上を示した。
• 特に複数ステップの推論や長時間スパンの計画を要する状況において、未観測のゴール画像への一般化が効果的に実現された。
• 後向き再ラベル付けと潜在的プラン表現の使用により、元のデータセットに非最適またはゴール指向でない軌道が含まれていた場合でも、効果的なスキルチェーニングが可能になった。