[論文レビュー] Silver-Bullet-3D at ManiSkill 2021: Learning-from-Demonstrations and Heuristic Rule-based Methods for Object Manipulation

Yingwei Pan, Yehao Li+6 more|arXiv (Cornell University)|Jun 13, 2022

Robot Manipulation and Learning被引用数 4

ひとこと要約

本論文では、SAPIEN ManiSkill 2021チャレンジにおけるロボット操作のためのハイブリッド手法、Silver-Bullet-3Dを提示する。本手法は、示範ベースのポリシー学習にTransformerベースのアーキテクチャを組み合わせた示範学習と、複雑なタスク分解のためのヒューリスティックルールベース手法（HRM）を統合している。HRMは、ルールベースの制御によるサブタスクへのタスク分解により、最終スコア0.928を達成し、2位チームより23.8%高い成績を収めた。一方、示範学習システムは、3段階のネットワークを用いて幾何学的およびテクスチャ特徴を抽出し、時系列モデリングにデシジョントランスフォーマーを適用することで、No Interaction Trackで優れた性能を発揮した。

ABSTRACT

This paper presents an overview and comparative analysis of our systems designed for the following two tracks in SAPIEN ManiSkill Challenge 2021: No Interaction Track: The No Interaction track targets for learning policies from pre-collected demonstration trajectories. We investigate both imitation learning-based approach, i.e., imitating the observed behavior using classical supervised learning techniques, and offline reinforcement learning-based approaches, for this track. Moreover, the geometry and texture structures of objects and robotic arms are exploited via Transformer-based networks to facilitate imitation learning. No Restriction Track: In this track, we design a Heuristic Rule-based Method (HRM) to trigger high-quality object manipulation by decomposing the task into a series of sub-tasks. For each sub-task, the simple rule-based controlling strategies are adopted to predict actions that can be applied to robotic arms. To ease the implementations of our systems, all the source codes and pre-trained models are available at \url{https://github.com/caiqi/Silver-Bullet-3D/}.

研究の動機と目的

• 複雑で現実に近いシミュレーション環境における、事前に収集された3次元示範軌道から、頑健で一般化可能な操作ポリシーを開発すること。
• 視覚的マニピュレーションタスクにおける多自由度ロボット制御および多様な3次元オブジェクト形状の課題に対処すること。
• オンライン相互作用なしに、示範学習およびオフライン強化学習を用いたポリシー学習の有効性を検証すること。
• タスクを段階的なサブタスクに分解することで、スケーラブルで解釈可能なヒューリスティックルールベースのシステムを設計すること。
• No Interaction TrackおよびNo Restriction Trackの両方で、SAPIEN ManiSkill 2021チャレンジにおいて最先端の性能を達成すること。

提案手法

• 3次元観測から点レベル、部品レベル、タスクレベルの特徴を抽出するための3段階ネットワークアーキテクチャを設計した。幾何学的、テクスチャ的、ロボットステート情報が統合された。
• 幾何学的特徴は、点とロボットアーム部品（例：指先および中心位置）間の相対距離として計算され、連結とMLPによる符号化が行われた。
• 部品レベル特徴は、提供されたマスクを用いて点をグループ化し、部品固有のMLPを用いた平均プーリングによって学習された。
• タスクレベル特徴は、部品特徴を入力としてTransformerエンコーダーを適用し、部品間の関係を捉えた後、MLPを用いて行動予測が行われた。
• デシジョントランスフォーマー（DT）を用いて、示範シーケンス内の時系列依存性をモデリングし、マニピュレーションをシーケンスモデリング問題として扱った。
• No Restriction Trackでは、ヒューリスティックルールベース手法（HRM）が、MoveTo、MoveSteps、graspなどのサブタスクにタスクを分解し、アーム制御の安定化を図った。

実験結果

リサーチクエスチョン

• RQ1 Transformerベースのアーキテクチャは、3次元ポイントクラウドからの幾何学的およびテクスチャ的特徴を効果的にモデル化でき、ロボットマニピュレーションにおける示範学習の性能を向上させることができるか？
• RQ2 デシジョントランスフォーマーの統合は、標準的な示範学習と比較して、オフライン示範シーケンスからのポリシー学習をどのように向上させるか？
• RQ3 データに依存しないルールベースのサブタスク分解戦略は、学習を経ずに、複雑なマニピュレーションタスクにおける優れた一般化性と頑健性を達成できるか？
• RQ4 学習による示範手法とヒューリスティックルールベースシステムの間には、物理的に豊富な3次元環境における性能差が生じるか？
• RQ5 幾何学的および視覚的特徴は、多様なオブジェクト形状やマニピュレーションタスクにわたるポリシーの一般化にどのように寄与するか？

主な発見

• ヒューリスティックルールベース手法（HRM）は、No Restriction Trackで最終順位スコア0.928を達成し、2位チームより23.8%高い成績を収めた。
• HRMは優れたゼロショット一般化を示し、データに依存しない設計のおかげで、トレーニングセットとテストセット間での性能低下が最小限に抑えられた。
• 3段階ネットワークとデシジョントランスフォーマーを統合した示範学習システムは、No Interaction Trackで高い性能を発揮した。幾何学的およびテクスチャ的特徴を活用することで、ポリシー学習の性能が向上した。
• 相対的幾何学的特徴（例：点から指先までの距離、点から中心までの距離）の使用が、マニピュレーションタスクの特徴表現を顕著に向上させた。
• 幾何学的、テクスチャ的、ロボットステート特徴を段階的なネットワークで統合することで、ベースライン手法と比較して行動予測の正確性が向上した。
• 最終システムは、OpenCabinetDoor、OpenCabinetDrawer、MoveBucket、PushChairなどの多様なタスクにおいて、トレーニングセットおよびテストセットの両方で高い成功率を示し、頑健な性能を発揮した。