[論文レビュー] Efficient Skill Acquisition for Complex Manipulation Tasks in Obstructed Environments

Jun Yamada, Jack Collins+1 more|arXiv (Cornell University)|Mar 6, 2023

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本論文は、1ショット目標特定のためのオブジェクトセントリック生成モデル（OCGM）、障害物回避走行のための運動計画（MP）、および複雑な障害物環境における複雑な操作のためのスキル遷移ネットワークを備えた強化学習（RL）ポリシーを組み合わせたモジュラー枠組みを提案する。本システムは、わずかなデモのみを用いて現実世界の産業用挿入タスクで86.7–96.7％の成功率を達成し、最先端のベースラインを著しく上回った。

ABSTRACT

Data efficiency in robotic skill acquisition is crucial for operating robots in varied small-batch assembly settings. To operate in such environments, robots must have robust obstacle avoidance and versatile goal conditioning acquired from only a few simple demonstrations. Existing approaches, however, fall short of these requirements. Deep reinforcement learning (RL) enables a robot to learn complex manipulation tasks but is often limited to small task spaces in the real world due to sample inefficiency and safety concerns. Motion planning (MP) can generate collision-free paths in obstructed environments, but cannot solve complex manipulation tasks and requires goal states often specified by a user or object-specific pose estimator. In this work, we propose a system for efficient skill acquisition that leverages an object-centric generative model (OCGM) for versatile goal identification to specify a goal for MP combined with RL to solve complex manipulation tasks in obstructed environments. Specifically, OCGM enables one-shot target object identification and re-identification in new scenes, allowing MP to guide the robot to the target object while avoiding obstacles. This is combined with a skill transition network, which bridges the gap between terminal states of MP and feasible start states of a sample-efficient RL policy. The experiments demonstrate that our OCGM-based one-shot goal identification provides competitive accuracy to other baseline approaches and that our modular framework outperforms competitive baselines, including a state-of-the-art RL algorithm, by a significant margin for complex manipulation tasks in obstructed environments.

研究の動機と目的

• 任意の障害物が存在する小規模バッチ製造環境におけるデータ効率的スキル習得の課題に対処すること。
• 明示的な目標状態を必要とする運動計画（MP）および現実世界環境でサンプル非効率性と安全性の問題を抱える強化学習（RL）の限界を克服すること。
• オブジェクトセントリック生成モデル（OCGM）を用いて、微調整を必要とせず、新しいシーンにおける1ショットのターゲットオブジェクト特定と再特定を可能にすること。
• MPの終端状態とRLポリシーの実行可能開始状態の間のギャップをスキル遷移ネットワークで埋めること。
• 最先端のベースライン、特にサンプル効率的RLおよびヒューリスティックベースの手法と比較して、障害物環境における複雑な操作タスクで優れたパフォーマンスを示すこと。

提案手法

• 本システムは、事前に学習済みのオブジェクトセントリック生成モデル（OCGM）を用いて、1回の人のデモからターゲットオブジェクトを抽出・再特定し、1ショット目標指定を可能にする。
• OCGMは、オブジェクトセントリック表現の一致により、新しいシーンにおけるターゲットオブジェクトの3次元位置を推定し、運動計画のための目標姿勢を提供する。
• 運動計画は、OCGMの出力を目標として用い、障害物を回避しながらターゲットオブジェクトへの衝突のない軌道を生成する。
• スキル遷移ネットワークを導入し、MPの終端状態をRLポリシーの実行可能開始状態にマッピングすることで、ポリシー起動時の失敗を低減する。
• スパarselyリワードを用い、わずかなデモでのみ学習可能なサンプル効率的RLポリシーを訓練し、密度の高いリワード設計の必要性を回避する。
• モジュラーなパイプラインは、OCGMに基づく目標特定、安全な走行のためのMP、および遷移ネットワークを備えたRLを統合し、現実世界の障害物環境における頑健なパフォーマンスを実現する。

Figure 1 : Task setup. We solve complex manipulation tasks within the entire operational space of a robot by leveraging an OCGM for versatile and efficient goal acquisition paired with MP and RL. Note that obstacles and a socket are randomly placed on the table.

実験結果

リサーチクエスチョン

• RQ1 オブジェクトセントリック生成モデル（OCGM）は、オブジェクト固有の微調整を必要とせず、新しいシーンにおける正確で多様な1ショットターゲットオブジェクト特定と再特定を可能にするか？
• RQ2 精度と耐性の観点から、OCGMベースの目標指定法は、ポーズ推定ベースラインと比較してどの程度有効であるか？
• RQ3 スキル遷移ネットワークを備えた運動計画と強化学習の統合は、障害物環境内での複雑な操作タスクにおける成功率を顕著に向上させるか？
• RQ4 スキル遷移ネットワークは、運動計画とRLポリシー実行の間で初期状態が不一致になることで生じる失敗をどの程度低減するか？
• RQ5 提案されたモジュラー枠組みは、現実世界の産業用操作タスクにおいて、最先端のRLアルゴリズムおよび代替のMP+RLベースラインを上回る性能を示せるか？

主な発見

• OCGMベースの1ショット目標特定法は、新しいシーンにおけるターゲットオブジェクト再特定において、他のベースライン手法と同等の精度を達成した。
• 本手法（MP+RLにスキル遷移ネットワークを組み合わせたもの）は、VGAタスクで86.7％、RJ45で83.3％、E-modelで93.3％、USB-Aで96.7％の成功率を達成し、すべてのベースラインを著しく上回った。
• スキル遷移ネットワークを含まない手法（MP+RL w/o skill transition）は73.3–80.0％の成功率を示し、高性能を達成するには遷移ネットワークが不可欠であることが示された。
• SACベースラインは全タスクで完全に失敗（0.0％の成功率）を示し、障害物がある現実世界のRLにおけるサンプル非効率性の難しさを浮き彫りにした。
• 主な失敗モードは、OCGMによるターゲットオブジェクトの誤特定であり、延長されたトレーニングデータでモデルの頑健性をさらに向上できる可能性がある。
• 全タスクにおいて、MP+デモリプレイ（3.3–26.7％の成功率）、MP+BC（16.7–26.7％）、MP+ヒューリスティック（10.0–43.3％）を上回り、現実世界への適用性の優位性を示した。

Figure 2 : Our framework architecture. (a) We leverage an OCGM to re-identify a target object such that its object-centric representation matches one extracted from a single demonstration. The goal state is specified in the robot’s reference frame using an external RGB-D camera with calibrated extri