[論文レビュー] Robot Behavior-Tree-Based Task Generation with Large Language Models

Yue Cao, C. S. George Lee|arXiv (Cornell University)|Feb 24, 2023

Topic Modeling被引用数 9

ひとこと要約

この論文は、Phase-Step プロンプト設計を提案し、大規模言語モデルからモジュラーでクロスドメインのロボット挙動ツリーを生成することで、抽象的タスク記述から事前定義されたプリミティブタスクなしに完全な挙動ツリーを自動構築できるようにし、知識ベースからの自動的な母源タスク選択を含む。

ABSTRACT

Nowadays, the behavior tree is gaining popularity as a representation for robot tasks due to its modularity and reusability. Designing behavior-tree tasks manually is time-consuming for robot end-users, thus there is a need for investigating automatic behavior-tree-based task generation. Prior behavior-tree-based task generation approaches focus on fixed primitive tasks and lack generalizability to new task domains. To cope with this issue, we propose a novel behavior-tree-based task generation approach that utilizes state-of-the-art large language models. We propose a Phase-Step prompt design that enables a hierarchical-structured robot task generation and further integrate it with behavior-tree-embedding-based search to set up the appropriate prompt. In this way, we enable an automatic and cross-domain behavior-tree task generation. Our behavior-tree-based task generation approach does not require a set of pre-defined primitive tasks. End-users only need to describe an abstract desired task and our proposed approach can swiftly generate the corresponding behavior tree. A full-process case study is provided to demonstrate our proposed approach. An ablation study is conducted to evaluate the effectiveness of our Phase-Step prompts. Assessment on Phase-Step prompts and the limitation of large language models are presented and discussed.

研究の動機と目的

• 新しいドメインでの自動生成を可能にすることにより、エンドユーザーのロボット挙動ツリー設計にかかる労力の削減を動機づける。
• LLMベースのタスク生成を逐次タスクから階層的な挙動ツリー表現へ拡張する。
• 固定されたプリミティブタスクライブラリを持たず、抽象的タスク記述を実行可能な挙動ツリーへグラウンディングすることで、クロスドメインのタスク生成を実現する。
• 挙動ツリーの知識ベースを活用して、LLMへのプロンプト用の母源タスクを自動的に選択する。
• 完全なプロセスのケーススタディとプロンプト設計のアブレーション研究を通じて実現可能性を示す。

提案手法

• Sequence と Action ノードからなる 3層の挙動ツリー断片（Phase 1、Phase 2、Phase 3）を生成する Phase-Step プロンプトを導入する。
• ロボットの能力動詞リストによる動詞グラウンディングと任意のプロンプト拡張を用いて、非プリミティブなサブタスクをプリミティブなアクションへ展開する挙動ツリー構築プロセスを開発する。
• 挙動ツリーの埋め込みとターゲットタスク埋め込みを用いて、知識ベースから適切な母源タスクを類似性ベースのルーチンで選択し、Phase-Step プロンプト生成を導く。
• サブタスクの展開による非プリミティブサブタスクの処理機構を提供し、Fallback および Condition ノードを用いて追加仕様を管理する。
• プロンプトを調整し、プリミティブアクション制約を課すこと（動詞リストと類似度閾値を介して）により、木の展開と剪定を実行する。
• 2つのLLM（GPT-3 text-davinci-003 と ChatGPT）と統一文埋め込み（Universal Sentence Encoder）を用いて動詞のグラウンディングとタスク類似性を評価する。

実験結果

リサーチクエスチョン

• RQ1 事前に定義されたプリミティブタスクライブラリを持たずに、モジュラーで階層的な挙動ツリーをロボットのタスク実行に適した形で生成することが、大規模言語モデルで可能か。
• RQ2 Phase-Step プロンプトは、ドメインをまたいでもツリー構造を保持した 3層の挙動ツリー断片の安定生成を実現するか。
• RQ3 知識ベースからの自動母源タスク選択は、クロスドメインの挙動ツリー生成品質を改善するか。
• RQ4 プロンプトのバリエーションと設計が、生成されるサブタスクのプリミティブ性と品質にどう影響するか。
• RQ5 希少またはドメイン特有のタスクを生成する際のLLMの実用的な制約は何か。

主な発見

• Phase-Step プロンプトは、非 Phase-Step プロンプトと比べて木構造の出力を大幅に増加させ、構造比率や多段階ツリーを高く達成する。
• 知識ベースからの自動母源タスク選択はクロスドメインのタスク生成を生み出し、automotive wheel-assembly source task からデスクトップアセンブリを可能にする。
• GPT-3 は許可された動詞セット内でよりロボット向けで簡潔かつ解釈しやすいタスク手順を生成する傾向がある一方、ChatGPT は時にさらなる展開を要する非プリミティブな動詞を生成することがあった。
• 動詞グラウンディング手法を用いたサブタスク展開は、類似度閾値チェック（0.5）により非プリミティブサブタスクをプリミティブアクションへ変換できる。
• Phase-Step プロンプトはロボット実行に適した完全なツリーへ展開可能な 3-layer 挙動ツリー断片を生成できる一方、非 Phase-Step プロンプトはしばしばシーケンスのような出力をもたらす。
• アブレーションは、Phase-Step プロンプトが構造比率 R を非 Phase-Step のほぼゼロから、プロンプトの variante によっては約 0.6–0.93 の値へ改善することを示し、モジュラリティの改善を示唆する。