[論文レビュー] Leveraging Language for Accelerated Learning of Tool Manipulation

Allen Z. Ren, Bharat Govil+3 more|arXiv (Cornell University)|Jun 27, 2022

Software Engineering Research被引用数 6

ひとこと要約

本論文では、道具の幾何学的形状と一般的な用途の自然言語記述を活用して、ロボットのポリシーが新しい道具に適応する速度を向上させる、meta-learningフレームワークATLAを提案する。LLMが生成する道具記述の埋め込みをメタ学習の条件付けに用いることで、押し、持ち上げ、掃除、ハンマーでたたきつぶすといったタスクにおいて、言語監視なしのベースライン手法よりも著しく優れたゼロショット適応が達成され、高速かつ効果的な適応が可能になる。

ABSTRACT

Robust and generalized tool manipulation requires an understanding of the properties and affordances of different tools. We investigate whether linguistic information about a tool (e.g., its geometry, common uses) can help control policies adapt faster to new tools for a given task. We obtain diverse descriptions of various tools in natural language and use pre-trained language models to generate their feature representations. We then perform language-conditioned meta-learning to learn policies that can efficiently adapt to new tools given their corresponding text descriptions. Our results demonstrate that combining linguistic information and meta-learning significantly accelerates tool learning in several manipulation tasks including pushing, lifting, sweeping, and hammering.

研究の動機と目的

• 道具の機能に関する言語的情報を活用して、操作タスクにおける新しい道具へのロボットポリシー適応を加速すること。
• 道具の幾何学的形状と一般的な用途の自然言語記述が、道具操作におけるゼロショット一般化を改善できるかどうかを調査すること。
• LLMで埋め込み処理された道具記述に条件づけられたポリシー適応を可能にするメタラーニングフレームワークを開発すること。
• 言語情報が、ハンドル、フック、形状といった道具固有の機能を活用する能力をポリシーに与える効果を評価すること。
• 言語条件付きメタラーニングが、多様な道具操作タスクにおいて、サンプル効率と性能を向上させることを実証すること。

提案手法

• 事前学習済みのLLMを用いて、幾何的特徴と一般的な用途を含む、多様な道具の記述的自然言語埋め込みを生成する。
• 事前学習済みのBERTベースのモデルを用いて、これらの記述から高次元のベクトル表現（文脈埋め込み）を抽出し、道具固有の埋め込みを形成する。
• 勾配ベースのメタラーニングアルゴリズム（Reptile）を適用し、道具の言語埋め込みに条件づけられたファインチューニングによって、新しい道具に素早く適応できるベースポリシーを学習する。
• メタトレーニング中に道具とその言語条件付き表現をサンプリングすることで、一般化性能を向上させるオフポリシーのメタアップデートを実施する。
• 推論時に、新しい道具の言語埋め込みと、少数の環境インタラクションを組み合わせて、ポリシー適応プロセスを条件づける。
• タスク固有の言語マッピングを必要とせず、異なるダイナミクスを持つタスク間で一般化を可能にする言語監視を統合する。

実験結果

リサーチクエスチョン

• RQ1 道具の幾何学的形状と一般的な用途の言語的記述が、ロボット操作における新しい道具へのゼロショットポリシー適応を加速できるか？
• RQ2 言語条件付きメタラーニングは、言語監視なしの標準的なメタラーニングと比較して、サンプル効率と最終的性能の面で優れているか？
• RQ3 言語表現の質（例：より大きなLLMからのもの）が、ポリシー適応速度と成功確率にどの程度影響を与えるか？
• RQ4 言語情報が、ハンドル、フック、または曲がったエッジといった道具の機能を正しく活用するのを助けるか？
• RQ5 言語条件付き適応の失敗モードは何か？また、それらは道具固有の機能への感受性とどのように関連しているか？

主な発見

• 言語条件付きメタラーニング（ATLA）は、言語監視なしのベースライン手法と比較して、押し、持ち上げ、掃除、ハンマーでたたきつぶすといったタスクにおいて、未観測の道具へのポリシー適応を顕著に高速化する。
• より大きな事前学習済み言語モデル（例：BERT-base）を用いた記述符号化は、より小さなモデル（例：BERT-tiny）よりも、適応後の報酬が高くなることが示され、より豊かな表現が性能向上に寄与することがわかった。
• 「曲がったフック」や「つかめるハンドル」などの包括的な言語記述に条件づけられたポリシーは、クマツールのフックやトロールのハンドルを正しく活用するが、簡略化された記述では失敗する。
• 道具記述から「ハンドル」といったキーワードを削除すると、ポリシーが道具を正しくつかめなくなることが示され、言語情報が適切な機能活用を可能にしていることが明らかになった。
• 改善が見られたものの、ATLAは一部の機能（例：ペイントローラーのローラー開口部、水栓の平らな先端をハンマーでたたきつぶす際）を正しく利用できないことがあり、初期姿勢や探索の難易度に感受性を示すことがわかった。
• メタラーニングハイパーパrameter β_meta の導入により、トレーニング効率と最終的性能が向上し、道具間での経験共有が学習を促進することが示された。