[論文レビュー] RT-Trajectory: Robotic Task Generalization via Hindsight Trajectory Sketches

Jiayuan Gu, Sean Kirmani+15 more|arXiv (Cornell University)|Nov 3, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

RT-Trajectoryは、粗い2次元の軌道スケッチを用いた新しいポリシー条件付け手法を提案し、未学習のロボット操作タスクへの頑健な一般化を実現する。ヒンダヒュック生成された軌道スケッチで学習することで、未学習タスクで67%の成功率を達成し、言語やゴール条件付けベースラインの26%を著しく上回る。これは、運動中心的かつ人間が理解可能なタスク指定によって、一般化性能が向上することを示している。

ABSTRACT

Generalization remains one of the most important desiderata for robust robot learning systems. While recently proposed approaches show promise in generalization to novel objects, semantic concepts, or visual distribution shifts, generalization to new tasks remains challenging. For example, a language-conditioned policy trained on pick-and-place tasks will not be able to generalize to a folding task, even if the arm trajectory of folding is similar to pick-and-place. Our key insight is that this kind of generalization becomes feasible if we represent the task through rough trajectory sketches. We propose a policy conditioning method using such rough trajectory sketches, which we call RT-Trajectory, that is practical, easy to specify, and allows the policy to effectively perform new tasks that would otherwise be challenging to perform. We find that trajectory sketches strike a balance between being detailed enough to express low-level motion-centric guidance while being coarse enough to allow the learned policy to interpret the trajectory sketch in the context of situational visual observations. In addition, we show how trajectory sketches can provide a useful interface to communicate with robotic policies: they can be specified through simple human inputs like drawings or videos, or through automated methods such as modern image-generating or waypoint-generating methods. We evaluate RT-Trajectory at scale on a variety of real-world robotic tasks, and find that RT-Trajectory is able to perform a wider range of tasks compared to language-conditioned and goal-conditioned policies, when provided the same training data.

研究の動機と目的

• 訓練中に見未曾る新しい操作タスクへのロボットポリシーの一般化を解決すること。
• 運動パターンが類似しているがタスクの意味論が異なる場合に失敗する言語やゴール条件付けの限界を克服すること。
• 低レベルの運動制御に必要な表現力を保ちつつ、実用的で人間が理解可能なインターフェースを提供するタスク指定手法を開発すること。
• 軌道スケッチを条件信号として用い、学習済みの運動を補間し、まったく新しい運動に一般化できるポリシーを可能にすること。

提案手法

• 校正済みのカメラ設定を仮定し、カメラの視野内に投影された2次元エンドエフェクタ軌道をタスク条件付け信号として使用する。
• 手動アノテーションを必要とせず、デモデータからヒンダヒュックによる軌道ラベルを自動抽出することで、スケーラブルなデータ収集を可能にする。
• 事前学習済みのRT-1ポリシーをこれらの軌道スケッチで条件付け、エンドツーエンドのポリシー学習を支援する。
• 人間が描いたスケッチ、動画、またはフォンダショングモデル（例：画像生成モデルやウェイポイント予測モデル）を介してタスク指定をサポートする。
• 軌道を曲線（エンドエフェクタの運動）および円（グリッパーの状態）として表現することで、視覚的解釈可能性と運動類似性マッチングを実現する。
• Fréchet距離と軌道アライメントを用いた運動類似性を活用し、一般化の評価およびクエリ軌道と類似した訓練済み軌道との比較を実施する。

実験結果

リサーチクエスチョン

• RQ1 粗い2次元の軌道スケッチは、言語やゴール画像を超えてロボットポリシーの有効で一般化可能な条件付け信号として機能するか？
• RQ2 運動パターンは類似しているが意味論のラベルが異なる新しい操作タスクに対して、軌道スケッチ条件付けポリシーはどの程度一般化できるか？
• RQ3 未学習タスクにおける成功率とロバストネスの観点から、軌道スケッチ条件付けは言語やゴール条件付けと比べてどのように異なるか？
• RQ4 運動類似性と空間アライメント（例：最初の相互作用のz高さ）は、未学習スキルへの一般化を可能にする上で果たす役割は何か？
• RQ5 軌道スケッチは、現実世界の設定において実用的で直感的な人間-ロボットタスク指定インターフェースとして利用可能か？

主な発見

• RT-Trajectoryは7つの未学習操作タスクで67%の成功率を達成し、言語やゴール条件付けを用いた最良の先行手法（26%）を著しく上回る。
• この手法は、訓練データとは異なる意味論的ラベルや言語記述であっても、新しい運動に効果的に一般化できることを示しており、運動ベースの一般化が可能であることを裏付けている。
• 軌道スケッチは、言語が表現できない運動類似性を捉えているため、言語やゴール条件付けよりも優れた一般化性能を発揮する。
• 評価結果から、未学習タスクの軌道は、類似した訓練済み軌道と比較して、Fréchet距離が大きく、意味論的不一致が顕著であることが判明し、運動中心の条件付けの必要性が確認された。
• 最初の相互作用の高さのアライメントから、クエリ軌道と類似した訓練済み軌道との間に顕著なばらつきが生じており、一般化における正確な空間制御の重要性が浮き彫りになった。
• 本手法は、スケッチ、動画、またはフォンダショングモデルを介したタスク指定をサポートしており、スケーラブルで直感的な人間-ロボットインタラクションを実現できる。