[論文レビュー] From Scanning Guidelines to Action: A Robotic Ultrasound Agent with LLM-Based Reasoning

Yuan Bi, Yiping Zhou+4 more|arXiv (Cornell University)|Mar 15, 2026

Soft Robotics and Applications被引用数 0

ひとこと要約

要約: RLで微調整されたLLMがガイドライン駆動の高レベルプランナーとして機械的な超音波スキャンを自律的に制御する。ツール群を用い、口頭ガイドラインテストと胆嚢・脊椎・腎の実測スキャンで実証。

ABSTRACT

Robotic ultrasound offers advantages over free-hand scanning, including improved reproducibility and reduced operator dependency. In clinical practice, US acquisition relies heavily on the sonographer's experience and situational judgment. When transferring this process to robotic systems, such expertise is often encoded explicitly through fixed procedures and task-specific models, yielding pipelines that can be difficult to adapt to new scanning tasks. In this work, we propose a unified framework for autonomous robotic US scanning that leverages a LLM-based agent to interpret US scanning guidelines and execute scans by dynamically invoking a set of provided software tools. Instead of encoding fixed scanning procedures, the LLM agent retrieves and reasons over guideline steps from scanning handbooks and adapts its planning decisions based on observations and the current scanning state. This enables the system to handle variable and decision-dependent workflows, such as adjusting scanning strategies, repeating steps, or selecting the appropriate next tool call in response to image quality or anatomical findings. Because the reasoning underlying tool selection is also critical for transparent and trustworthy planning, we further fine tune the LLM agent using a RL based strategy to improve both its reasoning quality and the correctness of tool selection and parameterization, while maintaining robust generalization to unseen guidelines and related tasks. We first validate the approach via verbal execution on 10 US scanning guidelines, assessing reasoning as well as tool selection and parameterization, and showing the benefit of RL fine tuning. We then demonstrate real world feasibility on robotic scanning of the gallbladder, spine, and kidney. Overall, the framework follows diverse guidelines and enables reliable autonomous scanning across multiple anatomical targets within a unified system.

研究の動機と目的

• ガイドライン駆動の計画を用いて operator 依存を減らし再現性を向上させるために自律的なロボット超音波を促進する。
• ハンドブックからスキャン手順を取得し、現在の観察を推論してツール使用を決定するエージェントを作成する。
• 固定されていない柔軟なワークフローを可能にし、手順の反復、戦略の適応、プローブ操作の調整を含む。
• 推論とツール選択をより良くするためにRLで小型LLMを微調整し、信頼性と一般化を高める。

提案手法

• Retrieval-Augmented Generation を介してガイドライン手順を取得する高レベルプランナーとしてLLMを使用する。
• 意思決定を<think> 推論痕跡の後に<tool> JSON呼び出しとして表現し、知覚・ロボット制御のツールキットを使用する。
• 3つのツールカテゴリを実装する：軌道計画、ロボット実行、品質/患者対話（接触調整と音声案内）。
• 参照痕跡で教師あり学習を用いて小型モデルを微調整し、その後Proximal Policy Optimization (PPO)を適用してツール呼び出し精度と推論を改善する。
• 未見ガイドラインに対するツール使用精度とタスク成功率を held-out で評価し、胆嚢・脊椎・腎の実ロボットスキャンでエンドツーエンドを検証する。
• ツール名の誤記を罰し、正しいツールとパラメータ化を報酬する報酬構造を組み込み、未見ガイドラインへの頑健な一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 LLM駆動エージェントは多様な超音波ガイドラインを解釈し、自律的ロボットUSの実行可能なツール呼び出しを生成できるか。
• RQ2 RL微調整はベースモデルと比べてツール選択とパラメータ化の一貫性と正確性を向上させるか。
• RQ3 胆嚢・脊椎・腎など複数の解剖ターゲットに対してエンドツーエンドで堅牢な自律スキャンが可能か。
• RQ4 ガイドライン駆動の計画が現実世界のロボット超音波スキャンへ適切な成功率と安全性をもって転送できるか。

主な発見

モデル	ステップごとの精度	全体の成功率
Base Model	0.6512	0.5384
After Fine Tuning	0.8973	0.9230

• RL微調整によりステップごとのツール使用精度が0.6512から0.8973へ向上。
• RL微調整により全体のスキャンタスク成功率が0.5384から0.9230へ向上。
• 音声実験では、RL微調整によりより一貫性がありタスク関連の推論痕跡が示された。
• 現実世界のロボット実験で、ボランティアを対象に脊椎と腎のスキャンを成功させた；胆嚢スキャンは手技の複雑さのため1件失敗。
• 統一されたパイプライン内で胆嚢・脊椎・腎の自律スキャンが安定して実現できることを示す。