[論文レビュー] LLM-BRAIn: AI-driven Fast Generation of Robot Behaviour Tree based on Large Language Model

Artem Lykov, Dzmitry Tsetserukou|arXiv (Cornell University)|May 30, 2023

Natural Language Processing Techniques被引用数 5

ひとこと要約

LLM-BRAIn は、スタンフォード Alpaca をベースに微調整された 7B パラメータの LLM であり、自然言語コマンドから構造的・論理的に正しいロボット動作ツリー（BT）を生成する。8,500 件の指示従いのデモで学習させたことで、ユーザースタディーにおいて人間が作成したものと区別がつかない BT を生成し（正解識別率 4.53/10）、モバイルロボット、ドローン、産業用システム向けにコンact でデプロイ可能な形で実装可能である。

ABSTRACT

This paper presents a novel approach in autonomous robot control, named LLM-BRAIn, that makes possible robot behavior generation, based on operator's commands. LLM-BRAIn is a transformer-based Large Language Model (LLM) fine-tuned from Stanford Alpaca 7B model to generate robot behavior tree (BT) from the text description. We train the LLM-BRAIn on 8,5k instruction-following demonstrations, generated in the style of self-instruct using text-davinchi-003. The developed model accurately builds complex robot behavior while remaining small enough to be run on the robot's onboard microcomputer. The model gives structural and logical correct BTs and can successfully manage instructions that were not presented in training set. The experiment did not reveal any significant subjective differences between BTs generated by LLM-BRAIn and those created by humans (on average, participants were able to correctly distinguish between LLM-BRAIn generated BTs and human-created BTs in only 4.53 out of 10 cases, indicating that their performance was close to random chance). The proposed approach potentially can be applied to mobile robotics, drone operation, robot manipulator systems and Industry 4.0.

研究の動機と目的

• 非技術者ユーザーが自然言語コマンドでロボットを制御できるようにすること。
• 非構造的で曖昧な人間の指示を、形式的で実行可能なロボット動作論理に変換する課題に対処すること。
• リアルタイムのロボット動作生成に適した、軽量でオンデバイス対応の LLM ベースのシステムを開発すること。
• 整理されたノードライブラリを通じて、生成された動作ツリーが構造的に正しく、論理的に整合的かつ安全であることを保証すること。
• 制御されたユーザースタディーにおいて、LLM が生成した BT が人間が作成した BT と視覚的に区別がつかないことを実証すること。

提案手法

• text-davinci-003 を用いて生成した 8,500 件の指示従いのデモで、7B パラメータのスタンフォード Alpaca LLM を微調整する。
• ロボットのアクションおよび条件ノードの事前定義されたライブラリを用いて、動作ツリー生成を制約・誘導する。
• モデルに自然言語記述を、XML 形式の有効で階層的な動作ツリー構造にマッピングさせるように学習させる。
• 多様で現実的である命令-BT 組み合わせを保証するため、自己インstruct プロンプト戦略を用いてトレーニングデータを合成する。
• 低リソースのオンボードマイコンピュータ上で推論を最適化し、最小限の計算リソースで高いパフォーマンスを維持する。
• ノードライブラリを用いて LLM の出力を実行可能なロボット動作にマッピングする制御パイプラインにモデルを統合する。

実験結果

リサーチクエスチョン

• RQ1 微調整された LLM は、自然言語コマンドから構造的・論理的に正しい動作ツリーを生成できるか？
• RQ2 主観的認識の観点から、LLM が生成した動作ツリーは人間が作成したものとどの程度類似しているか？
• RQ3 LLM-BRAIn モデルは、トレーニング中に見られなかった命令にも一般化できるか？
• RQ4 モデルはオンボードマイコンピュータ上で実行可能であり、リアルタイムのロボット制御に適しているか？
• RQ5 盲検ユーザースタディーにおいて、モデルのパフォーマンスは人間が作成した BT と比較してどの程度か？

主な発見

• LLM-BRAIn は、トレーニング時に見られなかった複雑な未確認命令に対しても、構造的・論理的に正しい動作ツリーを生成する。
• 15 名の参加者を対象としたユーザースタディーにおいて、モデルの BT が人間が作成した BT と正しく識別されたのは平均で 4.53/10 のケースにとどまり、ほぼランダムな性能であり、強い視覚的類似性を示している。
• t 検定の結果、人間と LLM が生成した BT 間に統計的に有意な差がない（p > 0.05）ことが確認され、両者が区別がつかないという帰無仮説が支持された。
• モデルはロボットのオンボードマイコンピュータへのデプロイに適したコンパクトなサイズを維持しており、リアルタイム推論が可能である。
• システムはトレーニングセットに含まれない分布外の命令に対しても一般化を示している。
• モデルのパフォーマンスは、再帰的サブツリー生成の欠如およびドローンなどの特殊ロボット向けにデバイス固有の微調整が必要である点で制限を受ける。