[論文レビュー] BiomechAgent: AI-Assisted Biomechanical Analysis Through Code-Generating Agents

R. James Cotton, Thomas Leonard|arXiv (Cornell University)|Jan 16, 2026

Human Pose and Action Recognition被引用数 0

ひとこと要約

BiomechAgentは自然言語駆動の生体力学データ照会・可視化・解釈を可能にするコード生成AIエージェントで、データ取得・可視化・活動分類・セグメンテーション・臨床推論の分野で、ドメイン固有のプロンプトと歩行イベントツールを用いてベンチマークされる。

ABSTRACT

Markerless motion capture is making quantitative movement analysis increasingly accessible, yet analyzing the resulting data remains a barrier for clinicians without programming expertise. We present BiomechAgent, a code-generating AI agent that enables biomechanical analysis through natural language and allows users to querying databases, generating visualizations, and even interpret data without requiring users to write code. To evaluate BiomechAgent's capabilities, we developed a systematic benchmark spanning data retrieval, visualization, activity classification, temporal segmentation, and clinical reasoning. BiomechAgent achieved robust accuracy on data retrieval and visualization tasks and demonstrated emerging clinical reasoning capabilities. We used our dataset to systematically evaluate several of our design decisions. Biomechanically-informed, domain-specific instructions significantly improved performance over generic prompts, and integrating validated specialized tools for gait event detection substantially boosted accuracy on challenging spatiotemporal analysis where the base agent struggled. We also tested BiomechAgent using a local open-weight model instead of a frontier cloud based LLM and found that perform was substantially diminished in most domains other than database retrieval. In short, BiomechAgent makes the data from accessible motion capture and much more useful and accessible to end users.

研究の動機と目的

• 臨床医がマーカーなしモーションキャプチャデータを自然言語対話と自動コード生成によって分析するための障壁を低減する。
• データ取得・可視化・活動分類・時系列セグメンテーション・臨床推論の各領域でBiomechAgentをベンチマークする。
• パフォーマンスに対するドメイン固有プロンプトと専門ツールの影響を評価する。
• biomechanical分析のクラウド系最先端モデルと局所オープンウェイトモデルのトレードオフを評価する。

提案手法

• BiomechAgentはsmolagentsフレームワークを用いて自然言語クエリからサンドボックス環境でPythonコードを生成・実行する。
• データベース照会、GaitTransformerによる歩行分析、可視化のツールを公開しており、ツールのドキュメントは関数定義に埋め込まれている。
• カスタム生体力学指示は式・単位・分析戦略についてエージェントをガイドする。
• 評価ではクラウド（Gemini 2.5 Flash Lite）とローカル（MedGemma 27B）のLLMバックエンドを比較し、GaitTransformerとビジュアルの有無でアブレーションを実施する。
• 性能を定量化するためのデータセットと評価プロトコル（視覚化と臨床推論タスクのためのLLMを judge として用いるを含む）を開発した。
• クラウド展開とローカルモデルに伴うセキュリティ懸念とプライバシー管理を含む。

実験結果

リサーチクエスチョン

• RQ1 自然言語を用いてマーカーなしモーションキャプチャデータから生体力学データを信頼性高く取得・可視化・推論できるコード生成AIエージェントは実現可能か？
• RQ2 ドメイン固有プロンプトと専門ツールはデータ取得・可視化・時空間分析の性能にどのように影響するか？
• RQ3 クラウド系最先端LLMと局所オープンウェイトモデルがエンドツーエンドの生体力学分析タスクに与える影響は？
• RQ4 このようなエージェントは歩行分析など関連タスクにおいて臨床推論能力をどの程度示せるか？

主な発見

• BiomechAgentはデータ取得と可視化タスクで堅牢な精度を達成した。
• ドメイン固有の生体力学指示は一般的なプロンプトを著しく上回る。
• 検証済みの歩行イベントツール（GaitTransformer）を組み込むと、ベースモデルが苦手とする時空間分析が改善される。
• フロンティアのクラウドモデル（Gemini 2.5） はほとんどの領域で局所のオープンウェイトモデル（MedGemma）を上回り、局所モデルは主にデータベース取得で優れている。
• 視覚化・知覚タスクは視覚機能を備えたLLMによって恩恵を受けるが、一部のタスクは専門ツールがないと難易度が高い。
• システムは新興の臨床推論能力を示し、再利用可能な分析関数を生成するよう導くことができる。