[論文レビュー] Instruction-driven history-aware policies for robotic manipulations

Pierre-Louis Guhur, Shizhe Chen+4 more|arXiv (Cornell University)|Sep 11, 2022

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

本論文では、自然言語指示、マルチビュー視覚観測、および長期的な行動履歴を統合するマルチモーダルトランスフォーマー、Hiveformerを提案する。これらの入力を統合的にモデル化することで、Hiveformerは74のRLBenchタスクにおいて最先端の性能を達成し、未観測のタスク変種や人間が書いた指示へも一般化可能であり、物理的ロボットでの微調整を経て強力な現実世界への転送性を示している。

ABSTRACT

In human environments, robots are expected to accomplish a variety of manipulation tasks given simple natural language instructions. Yet, robotic manipulation is extremely challenging as it requires fine-grained motor control, long-term memory as well as generalization to previously unseen tasks and environments. To address these challenges, we propose a unified transformer-based approach that takes into account multiple inputs. In particular, our transformer architecture integrates (i) natural language instructions and (ii) multi-view scene observations while (iii) keeping track of the full history of observations and actions. Such an approach enables learning dependencies between history and instructions and improves manipulation precision using multiple views. We evaluate our method on the challenging RLBench benchmark and on a real-world robot. Notably, our approach scales to 74 diverse RLBench tasks and outperforms the state of the art. We also address instruction-conditioned tasks and demonstrate excellent generalization to previously unseen variations.

研究の動機と目的

• 現在の視界に隠された過去の行動やオブジェクト状態の記憶を必要とする長時間スパンのロボット操作の課題に対処すること。
• 複数の視点からの入力を用いることで、視界が遮られる状況やオブジェクトサイズの変動がある状況でも、操作の精度を向上させること。
• 再トレーニングなしで、未観測のタスク変種や人間が書いた自然言語指示へ一般化できるようにすること。
• シミュレーションでの事前学習と実ロボットのデモンストレーションでの微調整により、シミュレーションから現実へのギャップを埋めること。
• 一括されたマルチモーダルトランスフォーマーアーキテクチャ内で、指示、視覚観測、履歴のモデル化を統合し、エンドツーエンドのポリシー学習を実現すること。

提案手法

• Hiveformerは、自然言語指示をトークンにエンコードする事前学習済み言語エンコーダーを用い、視覚的および履歴的特徴とクロスアテンションを実行する。
• 複数のカメラからの現在および過去の視覚観測に加え、プロピリオセプティブフィードバックを処理し、マルチモーダル統合のための視覚的トークンに変換する。
• 指示、視覚的、履歴的トークンの連結シーケンスに注目するマルチモーダルトランスフォーマーが、視覚、言語、行動履歴の間のクロスモーダル依存関係をモデル化する。
• トランスフォーマーの出力をUNetでデコードし、7自由度のロボットアームの行動（位置、姿勢、グリッパー状態）を予測する。
• モデルは、シミュレーション内での合成された指示を用いた行動クラーニングにより学習し、その後実ロボットのデモンストレーションで微調整することで、シミュレーションから現実へのギャップを埋める。
• マルチビュー特徴は共有の視覚エンコーダーで処理され、トランスフォーマーの自己アテンション機構を通じて空間的および時間的に統合される。

実験結果

リサーチクエスチョン

• RQ1 統一されたトランスフォーマーアーキテクチャが、自然言語指示、マルチビュー観測、長期的行動履歴を効果的に統合し、ロボット操作の性能を向上させることができるか？
• RQ2 履歴情報とマルチビュー認識を組み込むことで、長時間スパンのタスクや視界遮断が生じる状況下での成功確率にどのような影響を与えるか？
• RQ3 1つのHiveformerポリシーが、未観測のタスク変種や人間が書いた指示へどの程度一般化できるか？
• RQ4 シミュレーションでの事前学習に続いて実ロボットデータでの微調整を実施することで、現実世界での性能が顕著に向上するか？
• RQ5 ゼロショットおよびフェイワショット一般化の観点から、Hiveformerは多様なタスクカテゴリにおいて最先端の手法と比較してどの程度優れているか？

主な発見

• Hiveformerは、1つのタスク変種あたり10回のデモンストレーションでボタン押さえタスクで96.8％の成功率を達成し、50回のデモンストレーションでは99.6％に達し、優れたフェイワショット一般化能力を示している。
• ボタン押さえタスクの未観測変種では、10回のデモンストレーションで71.7％、50回で74.1％の成功率を記録し、新しいタスク順序に対しても頑健な一般化能力を示している。
• タワー構築タスクでは、10回のデモンストレーションでの未観測変種で49.8％の成功率を達成しており、順序付けられた操作スキルの効果的な学習を示している。
• 人間が書いた指示では、既知の変種で73.1％、未観測の変種で50.1％の成功率を達成しており、合成された指示で学習したにもかかわらず、実世界への転送性が確認されている。
• 実ロボット実験では、事前学習済みで微調整されたHiveformerが未観測変種で85.7％の成功率を達成し、ランダムに初期化されたモデル（13.3％）を上回っており、強力なシミュレーションから現実への転送性を示している。
• Hiveformerは74の多様なRLBenchタスクに一般化可能であり、特に積み上げやボタン押さえといった、正確性と長期記憶を要するタスクで性能向上が顕著に観察されている。