[論文レビュー] OceanChat: Piloting Autonomous Underwater Vehicles in Natural Language

Ruochu Yang, Mengxue Hou+2 more|arXiv (Cornell University)|Sep 27, 2023

Underwater Vehicles and Communication Systems被引用数 5

ひとこと要約

OceanChat は、複雑で動的な水中環境における自律水中航行機器（AUV）の自然言語制御を可能にする閉ループで LLM に駆動されるタスクおよび運動計画フレームワークを提案する。大規模言語モデル、論理的制約を伴うタスク計画、センサーのフィードバックを用いたリアルタイムの運動計画を統合することで、LLM-運動計画と比較して計算時間を30%削減しながらも、峡谷航行タスクにおける高い成功確率を維持した。

ABSTRACT

In the trending research of fusing Large Language Models (LLMs) and robotics, we aim to pave the way for innovative development of AI systems that can enable Autonomous Underwater Vehicles (AUVs) to seamlessly interact with humans in an intuitive manner. We propose OceanChat, a system that leverages a closed-loop LLM-guided task and motion planning framework to tackle AUV missions in the wild. LLMs translate an abstract human command into a high-level goal, while a task planner further grounds the goal into a task sequence with logical constraints. To assist the AUV with understanding the task sequence, we utilize a motion planner to incorporate real-time Lagrangian data streams received by the AUV, thus mapping the task sequence into an executable motion plan. Considering the highly dynamic and partially known nature of the underwater environment, an event-triggered replanning scheme is developed to enhance the system's robustness towards uncertainty. We also build a simulation platform HoloEco that generates photo-realistic simulation for a wide range of AUV applications. Experimental evaluation verifies that the proposed system can achieve improved performance in terms of both success rate and computation time. Project website: \url{https://sites.google.com/view/oceanchat}

研究の動機と目的

• 非技術的ユーザーが専門的な工学的知識に依存せずに自然言語コマンドで AUV を操縦できるようにすること。
• 部分的に観測可能で動的な水中環境において、抽象的な言語指示を実行可能なロボット行動にマッピングする課題に対処すること。
• リアルタイムのセンサーのフィードバックを用いたイベント駆動型再計画により、実行障害に対するシステムの頑健性を高めること。
• 多様な条件下での AUV ミッションのパフォーマンス評価を可能にする、写真実写に近いシミュレーションプラットフォーム（HoloEco）の開発。
• LLM、タスクプランナー、運動プランナーを統合した階層的で閉ループの計画フレームワークを構築し、信頼性の高い AUV 動作を実現すること。

提案手法

• 本システムは三段階のフレームワークを採用する：LLM が自然言語コマンドを高レベルの目標に変換し、タスクプランナーが論理的制約を伴う行動の順序を生成し、運動プランナーが実行可能な軌道を計算する。
• リアルタイムのラグランジュデータストリーム（例：深度マップ、レーザー距離）が運動プランナーによって使用され、動的時間窓内で衝突のない最適な運動計画を生成する。
• レーザー距離センサーを用いたイベント駆動型再計画メカニズムにより、衝突を検知した際に計画の再生成をトリガーし、頑健性を確保する。
• 運動プランナーは、移動距離とゴールへの近接度を組み合わせた A* アルゴリズムに基づくヒューリスティックを用いて、経路選択を最適化する。
• 独自のシミュレーションプラットフォーム HoloEco は、校正済みの AUV モデル（EcoMapper）を備えた写真実写に近い水中環境を生成し、評価に用いる。
• PDDL を用いたタスク計画と動的環境認識を統合することで、リアルタイムの観測に基づいて計画を洗練する。

Figure 1 : Our proposed system OceanChat can decompose natural language commands into a task sequence of controlling EcoMapper in the HoloEco simulation platform. We establish a three-level framework of LLM-guided task and motion planner. The event-triggered replanning module is designed to withstan

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、構造のない水中環境における AUV ミッションの自然言語コマンドを、高レベルの目標に効果的に変換できるか？
• RQ2 論理的制約を伴うタスク計画は、ロボットシステムにおける LLM が生成する計画の信頼性と実行可能性をどのように向上させることができるか？
• RQ3 リアルタイムのセンサーのフィードバックとイベント駆動型再計画は、部分的に観測可能で動的な水中シナリオにおいて、システムの頑健性をどの程度向上させるか？
• RQ4 LLM、タスク計画、運動計画を統合した際の、計算効率と成功確率のトレードオフはどのようなものか？
• RQ5 閉ループ計画フレームワークは、オープンループまたは LLM 僅での計画に比べ、複雑な AUV ミッションにおいて成功確率と実行時間の両面で優れていると期待できるか？

主な発見

• 提案された LLM-運動-タスク計画フレームワークは、LLM-運動計画と同等の成功確率を達成するが、計算時間はその30%にまで削減された。
• 本システムは、シミュレーション上での未知の峡谷を EcoMapper が自然言語コマンドからの自律実行で航行することに成功した。
• イベント駆動型再計画は、予期しない障害物やセンサー誤差への耐性を著しく向上させ、実行障害からの回復を可能にした。
• タスク計画の統合により、運動プランナーの負荷が軽減され、目標が実行可能な行動の順序に明確に定式化されるため、計画の効率が向上した。
• HoloEco シミュレーションプラットフォームは、写真実写に近いレンダリングとセンサーのモデリングを備えており、多様な水中アプリケーションにおける AUV ミッションのリアルな評価を可能にした。
• 直接的な LLM 計画と比較して、本手法は物理的および論理的制約を組み込むことで、実行不能な行動順序を回避し、計画の実行可能性を保証した。

Figure 2 : Framework of closed-loop LLM-guided task and motion planning. The high-level LLM planner composes an overall goal by precisely comprehending the human command in the context of underwater scenes. The middle-level task planner generates a logical sequence of tasks to achieve the overall go