[論文レビュー] Programmatically Grounded, Compositionally Generalizable Robotic Manipulation

Renhao Wang, Jiayuan Mao+4 more|arXiv (Cornell University)|Apr 26, 2023

Robot Manipulation and Learning被引用数 4

ひとこと要約

本稿では、自然言語指令を結合カテゴリー文法（CCG）を用いて実行可能なプログラムに変換することで、ロボット操作における視覚言語マッピングとタスク固有のポリシー学習を分離する、プログラムベースのモジュラー枠組みである programport を提案する。言語の概念と行動を専用のニューラルモジュールを通じてマッピングすることで、未学習のオブジェクト・タスクの組み合わせにおいて、標準的なファインチューニング手法よりも優れたゼロショットおよび構成的一般化を達成し、データ量を少なくても実現する。

ABSTRACT

Robots operating in the real world require both rich manipulation skills as well as the ability to semantically reason about when to apply those skills. Towards this goal, recent works have integrated semantic representations from large-scale pretrained vision-language (VL) models into manipulation models, imparting them with more general reasoning capabilities. However, we show that the conventional pretraining-finetuning pipeline for integrating such representations entangles the learning of domain-specific action information and domain-general visual information, leading to less data-efficient training and poor generalization to unseen objects and tasks. To this end, we propose ProgramPort, a modular approach to better leverage pretrained VL models by exploiting the syntactic and semantic structures of language instructions. Our framework uses a semantic parser to recover an executable program, composed of functional modules grounded on vision and action across different modalities. Each functional module is realized as a combination of deterministic computation and learnable neural networks. Program execution produces parameters to general manipulation primitives for a robotic end-effector. The entire modular network can be trained with end-to-end imitation learning objectives. Experiments show that our model successfully disentangles action and perception, translating to improved zero-shot and compositional generalization in a variety of manipulation behaviors. Project webpage at: \url{https://progport.github.io}.

研究の動機と目的

• 視覚言語（VL）モデルのロボット操作における劣悪なゼロショットおよび構成的一般化の問題を解決する。これは、認識と制御の学習が混在しているためである。
• 構造化されたプログラム表現を用いて、ドメインに依存しない視覚的マッピングとドメイン固有のポリシー学習を分離する。
• モジュラーでプログラム実行パイプラインを用いることで、事前学習済みの視覚言語モデルを活用し、データ効率性と一般化性能を向上させる。
• ファインチューニングなしで、未学習のオブジェクトと操作行動の組み合わせに対しても、頑健な推論を可能にする。
• ドメイン固有の言語（DSL）と実行可能なプログラムを用いて、言語を視覚と行動に忠実にマッピングするフレームワークを開発する。

提案手法

• 結合カテゴリー文法（CCG）を用いて自然言語指令を実行可能な操作プログラムに変換し、構造的な意味解析を可能にする。
• 視覚的マッピング（例：カテゴリでオブジェクトを特定）と行動ポリシー（例：ピック/プレースのポーズを生成）のための機能モジュールを備えたドメイン固有の言語（DSL）を定義する。
• 各機能モジュールを決定論的計算と学習可能なニューラルネットワークのハイブリッドとして実装し、模倣学習の目的関数を用いたエンド・ツー・エンドの学習を可能にする。
• 事前学習済みの視覚言語モデル（例：CLIP）を用いて、タスク固有のポリシーとは独立して、言語記述子を視覚入力にマッピングする。
• 推論時にプログラムを実行し、視覚と言語の入力をもとに、ピックやプレースなどのロボットプリミティブの制御パrameterを生成する。
• エキスパートのデモデータを用いた模倣学習により、全モジュラーネットワークをエンド・ツー・エンドで学習させ、データ効率の高いポリシー学習を実現する。

Figure 1: Zero-Shot and Compositional Generalization: Our framework, programport , is capable of generalizing to combinations of unseen objects and manipulation behaviors at test time.

実験結果

リサーチクエスチョン

• RQ1 標準的なVLモデルのファインチューニングと比較して、プログラムベースのモジュラー枠組みは、ロボット操作におけるゼロショット一般化を改善できるか？
• RQ2 視覚的マッピングとポリシー学習を分離することで、未学習のオブジェクト・タスクの組み合わせにおけるより優れた構成的一般化が達成できるか？
• RQ3 自然言語から導出される構造化されたプログラム表現は、視覚言語操作におけるマッピングの正確性とデータ効率を向上させられるか？
• RQ4 ファインチューニングなしで、未学習のオブジェクトの種類や既知の概念の新しい組み合わせに対して、どの程度一般化できるか？
• RQ5 分布外の言語および視覚的入力に対して、プログラムベースのマッピングはエンド・ツー・エンドのファインチューニングと比較して、どの程度頑健か？

主な発見

• モデルは、ファインチューニングなしで、未学習の形状のプッシュや配置といった、未学習のオブジェクトと操作行動の組み合わせに対しても顕著なゼロショット一般化を達成する。
• programport は、標準的なファインチューニングベースラインと比較して、より少ないデモで高性能な模倣ポリシーを学習するという、向上したデータ効率性を示す。
• 分離されたアーキテクチャにより、言語から視覚への忠実なマッピングが可能となり、従来のファインチューニング手法で生じる過学習を引き起こすショートカットを回避する。
• モデルは、訓練中に見られなかった組み合わせ（例：「赤いキューブを青いボックスにプッシュする」）の新しい概念の組み合わせに対しても一般化する。
• CCGパーサーとDSLの使用により、言語に対する構造的な推論が可能となり、より信頼性が高く解釈可能なポリシー実行が実現する。
• 10種類の多様なテーブルトップ操作タスクにおける実験結果から、programport はゼロショットおよび構成的一般化の両設定において、強力なベースラインを上回ることを確認した。

Figure 2: (a) Existing manipulation models entangle visual grounding from pretrained VL models with task-specific policy learning. (b) Our disentangled approach leverages program-based representation of language semantics to yield faithful VL-grounding and improved genearlization.