[論文レビュー] Can Foundation Models Perform Zero-Shot Task Specification For Robot Manipulation?

Yuchen Cui, Scott Niekum+3 more|arXiv (Cornell University)|Apr 23, 2022

Robot Manipulation and Learning被引用数 8

ひとこと要約

この論文では、ファインチューニングを必要とせず、ロボットが自然言語、インターネット画像、またはスケッチをゴール仕様として理解できるようにするゼロショットタスク仕様フレームワーク、ZeSTを提案する。観測値とゴールを共有の埋め込み空間にマップし、類似度を測ることで、ZeSTはゼロショットゴール選択においてランダムな推測よりも14倍の改善を達成し、行動コーディングを上回る性能を示すオフライン強化学習ポリシーを実現する。

ABSTRACT

Task specification is at the core of programming autonomous robots. A low-effort modality for task specification is critical for engagement of non-expert end-users and ultimate adoption of personalized robot agents. A widely studied approach to task specification is through goals, using either compact state vectors or goal images from the same robot scene. The former is hard to interpret for non-experts and necessitates detailed state estimation and scene understanding. The latter requires the generation of desired goal image, which often requires a human to complete the task, defeating the purpose of having autonomous robots. In this work, we explore alternate and more general forms of goal specification that are expected to be easier for humans to specify and use such as images obtained from the internet, hand sketches that provide a visual description of the desired task, or simple language descriptions. As a preliminary step towards this, we investigate the capabilities of large scale pre-trained models (foundation models) for zero-shot goal specification, and find promising results in a collection of simulated robot manipulation tasks and real-world datasets.

研究の動機と目的

• 非熟練ユーザーが自然言語、スケッチ、またはインターネット画像といった直感的で低負荷なモodalitiy（モダリティ）を用いてロボットのタスクを指定できるようにすること。
• 基礎モデルが、熟練者のデモや複雑な報酬設計を必要とせずに、ロボット分野におけるゼロショットタスク仕様を可能にするかを調査すること。
• シミュレーション環境および現実世界の環境において、ZeSTのゼロショットゴールおよびアクション選択の有効性を評価すること。
• ZeSTの類似度スコアが、オフライン強化学習における代理報酬関数として有効に機能するかを検討すること。
• 事前学習済みの視覚および言語モデルを用いて、シミュレーションと現実世界のロボット学習の間のドメインギャップを埋めること。

提案手法

• ZeSTは、CLIP や ResNet、MoCo などの事前学習済み基礎モデルを用いて、ロボットの観測値とゴール仕様（例：テキスト、画像、スケッチ）を共有の潜在空間に埋め込む。
• 埋め込みされた観測値とゴールの類似度をコサイン類似度または対照的損失（contrastive loss）を用いて計算し、ゼロショット報酬信号を形成する。
• ゼロショットゴール選択では、タスク固有のファインチューニングを一切行わずに、現在の観測値と類似度が最も高いゴールを選択する。
• オフライン強化学習では、ZeSTの類似度スコアを代理報酬関数として用い、意思決定トランスフォーマー（Decision Transformers）を用いてポリシーを学習する。
• フレームワークは、シミュレーテッド・フランカキッチン環境および現実世界のSSV2スタイルの操作タスクにおいて、実世界→実世界（real2real）およびシミュレーション→実世界（sim2real）のゴール指定モダリティを用いて評価された。
• CLIP、ResNet、MoCo などの複数の埋め込みモデルを比較し、異なる視覚および言語エンコーダーにおける堅牢性と性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 基礎モデルは、自然言語やインターネットからの画像をゴールとして用いることで、ロボット操作におけるゼロショットタスク仕様を可能にするか？
• RQ2 ファインチューニングなしで、ZeSTはランダムな推測と比較して、正しいゴールおよびアクションの選択においてどれほど有効か？
• RQ3 ZeSTの類似度スコアは、オフライン強化学習におけるポリシー学習のための有効な代理報酬関数として機能できるか？
• RQ4 実世界およびシミュレーション→実世界の設定において、異なる埋め込みモデル（例：CLIP 対 ResNet）におけるZeSTの性能はどのように異なるか？
• RQ5 事前学習済みモデルを用いて、ZeSTはロボット学習におけるシミュレーション→実世界のドメインギャップをどの程度埋められるか？

主な発見

• ZeSTは、複数のドメインおよびモダリティにわたり、ゼロショットゴール選択タスクにおいてランダムな推測よりも14倍の成功確率向上を達成した。
• SSV2のreal2real設定では、ResNetおよびMoCoの埋め込みがCLIPを上回り、上位25件の成功率がランダムよりも顕著に高い結果を示し、埋め込みモデル選択の感受性が明確に示された。
• オフライン強化学習における報酬代理関数として使用した場合、ZeST+DTは熟練者の性能の90.77％を達成し、行動コーディング（80.67％）およびデモ平均（81.19％）を上回った。
• フレームワークは、シミュレーション→シミュレーションおよびシミュレーション→実世界の両設定で実現可能であることが示され、ドメイン間タスク仕様に有望な可能性を示した。
• real2real設定では、CLIPはランダムな推測とほとんど差がない性能にとどまり、特定の基礎モデルにおけるドメイン一般化の限界を示唆した。
• 視覚特徴におけるオクルージョンや局所化の欠如は依然として課題であり、特にロボットアームが視界を遮る場合に顕著で、より優れた視覚的グランドイングの必要性が示された。