[論文レビュー] Integration of Large Language Models within Cognitive Architectures for Autonomous Robots

Miguel Á. González-Santamarta, González-Fernández, Irene+3 more|arXiv (Cornell University)|Sep 26, 2023

AI-based Problem Solving and PlanningComputer Science被引用数 3

ひとこと要約

本論文は、ロボットの自律的認知アーキテクチャに量子化された大規模言語モデル（LLM）を統合する手法を提案している。ROS 2用のツールである llama_ros を用いて、従来の PDDL プランニングに代わる LLM を用いた推論を実現している。LLM は自然言語対話性と柔軟性を向上させるが、実験では PDDL ベースの計画が時間的・距離的効率において顕著に優れており、LLM はミッションシナリオにおいて1.5～3.2倍の時間がかかり、移動距離もほぼ2倍に達している。

ABSTRACT

Symbolic reasoning systems have been used in cognitive architectures to provide inference and planning capabilities. However, defining domains and problems has proven difficult and prone to errors. Moreover, Large Language Models (LLMs) have emerged as tools to process natural language for different tasks. In this paper, we propose the use of LLMs to tackle these problems. This way, this paper proposes the integration of LLMs in the ROS 2-integrated cognitive architecture MERLIN2 for autonomous robots. Specifically, we present the design, development and deployment of how to leverage the reasoning capabilities of LLMs inside the deliberative processes of MERLIN2. As a result, the deliberative system is updated from a PDDL-based planner system to a natural language planning system. This proposal is evaluated quantitatively and qualitatively, measuring the impact of incorporating the LLMs in the cognitive architecture. Results show that a classical approach achieves better performance but the proposed solution provides an enhanced interaction through natural language.

研究の動機と目的

• ROS 2 を用いて大規模言語モデル（LLM）を自律的ロボットの認知アーキテクチャに統合すること。
• 組み込みロボットシステムに最適化された、軽量で効率的かつ実装可能な LLM 推論ツールの開発。
• PDDL ベースの計画を LLM ベースの推論に置き換えた場合の意思決定性能とシステム効率への影響を評価すること。
• LLM を現実のロボットミッションにおける推論エンジンとして使用可能かどうかを検討し、プロンプト感受性や幻覚現象などの課題に対処すること。
• 研究者が量子化された LLM をロボットのソフトウェアスタックに統合できる実用的でオープンソースのフレームワーク（llama_ros）を提供すること。

提案手法

• Ggerganov の llama.cpp ライブラリに対応した GPU 対応の ROS 2 互換ツールである llama_ros を開発。これにより、効率的なオフライン LLM 推論が可能になった。
• MERLIN2 認知アーキテクチャに LLM を統合し、PDDL ベースの計画レイヤーの代替として使用。チェーン・オブ・チョイスのプロンプト戦略を採用した。
• 計算およびメモリ要件を削減するため、モデルの量子化（例：GGUF 形式）を実施。これにより、リソース制限のあるロボットプラットフォームへのデプロイが可能になった。
• ベクトルデータベースを用いて世界状態情報を格納・検索し、プロンプト長を短縮するとともに、推論中の検索効率を向上させた。
• 各アクション後に目標達成を LLM が確認するフィードバックループを設計。目標が達成されない場合には再計画が可能になった。
• RB1 ロボットを用いたシミュレーション環境で制御された実験を実施。LLM ベースの計画（FI, NEI, NCGI, NENCGSI）と元の PDDL ベースの MERLIN2 システムを比較した。

実験結果

リサーチクエスチョン

• RQ1 LLM が自律的ロボットの認知アーキテクチャにおいて PDDL ベースの計画を効果的に代替可能であり、妥当な性能を維持できるか。
• RQ2 実行時間および経路効率という観点から、LLM ベースの推論と従来の PDDL ベースの計画との間の定量的・定性的なトレードオフは何か。
• RQ3 プロンプト工学およびベクトルデータベースの使用が、ロボット意思決定における LLM ベース推論の信頼性および効率に与える影響は何か。
• RQ4 目標検証の過程で LLM が幻覚現象を示す頻度はどの程度で、それがシステムの耐障害性にどのように影響するか。
• RQ5 ROS 2 を用いたリアルタイムのロボットシステムに、量子化された LLM を効率的にデプロイ可能か。これに必要なインfra は何か。

主な発見

• PDDL ベースの MERLIN2 プランナは、すべての LLM ベースのアプローチを上回り、ミッションシナリオにおいて1.5～3.2倍の高速化を達成した。
• ミッション1では、LLM ベースの FI アプローチが平均257.763秒を要したが、MERLIN2 は162.720秒で、1.58倍の時間増加であった。
• ミッション2では、LLM ベースの NENCGSI アプローチが平均508.021秒を要したが、MERLIN2 は257.763秒で、1.96倍の時間増加であった。
• LLM ベースのシステムは、移動距離が顕著に長くなった。ミッション1では平均53.100メートル、ミッション2では53.701メートルを記録したが、MERLIN2 はそれぞれ62.957メートルおよび53.100メートルであった。これは、ナビゲーション効率が低いことを示している。
• ベクトルデータベースを用いた NCGI は、両ミッションで NEI よりも1.2倍の実行時間が長く、検索オーバーヘッドが遅延を増加させていることが示された。
• 量子化された LLM は、フル精度モデルに比べてプロンプトの変化により感受性が高く、一貫性のある挙動を実現するためには注意深いプロンプト工学が必要であることが判明した。