[论文解读] BiomechAgent: AI-Assisted Biomechanical Analysis Through Code-Generating Agents

R. James Cotton, Thomas Leonard|arXiv (Cornell University)|Jan 16, 2026

Human Pose and Action Recognition被引用 0

一句话总结

BiomechAgent 是一个生成代码的 AI 代理，能够用自然语言驱动的生物力学数据查询、可视化与解释，在数据检索、可视化、活动分类、分割和临床推理等方面进行基准测试，使用领域特定提示和步态事件工具。

ABSTRACT

Markerless motion capture is making quantitative movement analysis increasingly accessible, yet analyzing the resulting data remains a barrier for clinicians without programming expertise. We present BiomechAgent, a code-generating AI agent that enables biomechanical analysis through natural language and allows users to querying databases, generating visualizations, and even interpret data without requiring users to write code. To evaluate BiomechAgent's capabilities, we developed a systematic benchmark spanning data retrieval, visualization, activity classification, temporal segmentation, and clinical reasoning. BiomechAgent achieved robust accuracy on data retrieval and visualization tasks and demonstrated emerging clinical reasoning capabilities. We used our dataset to systematically evaluate several of our design decisions. Biomechanically-informed, domain-specific instructions significantly improved performance over generic prompts, and integrating validated specialized tools for gait event detection substantially boosted accuracy on challenging spatiotemporal analysis where the base agent struggled. We also tested BiomechAgent using a local open-weight model instead of a frontier cloud based LLM and found that perform was substantially diminished in most domains other than database retrieval. In short, BiomechAgent makes the data from accessible motion capture and much more useful and accessible to end users.

研究动机与目标

• 降低临床医生分析无标记动作捕捉数据的门槛，通过实现自然语言交互和自动代码生成。
• 在数据检索、可视化、活动分类、时序分割和临床推理方面对 BiomechAgent 进行基准评估。
• 评估领域特定提示和专用工具对性能的影响。
• 评估基于云的前沿模型与本地开源权重模型在生物力学分析中的权衡。

提出的方法

• BiomechAgent 使用 smolagents 框架从自然语言查询生成并在沙盒环境中执行 Python 代码。
• 它提供数据库查询、通过 GaitTransformer 进行步态分析和可视化的工具，工具文档嵌入在函数定义中。
• 自定义生物力学指令引导代理关于公式、单位和分析策略。
• 评估比较云端（Gemini 2.5 Flash Lite）和本地（MedGemma 27B）LLM 后端，并包含有无 GaitTransformer 与可视化的消融。
• 开发了数据集和评估协议（包括将 LLM 作为可视化和临床推理任务的评判者），以量化性能。
• 云部署与本地模型的安全性考虑和隐私控制随之而来。

实验结果

研究问题

• RQ1 代理能否可靠地使用自然语言从无标记动作捕捉数据中检索、可视化并推理生物力学信息？
• RQ2 领域特定提示和专用工具如何影响数据检索、可视化和时空分析的性能？
• RQ3 云端前沿 LLM 与本地开源权重模型在端对端生物力学分析任务中的影响？
• RQ4 此类代理在步态分析及相关任务中的临床推理能力在多大程度上得到展示？

主要发现

• BiomechAgent 在数据检索和可视化任务中实现了稳健的准确性。
• 领域特定的生物力学指令显著优于通用提示。
• 整合经过验证的步态事件工具（GaitTransformer）在基础模型难以处理的时空分析中有所提升。
• 前沿云模型（Gemini 2.5）在大多数领域优于本地开源模型（MedGemma），本地模型在数据库检索方面表现突出。
• 可视化与感知任务受益于具备视觉能力的 LLM，尽管某些任务在没有专用工具时仍然具有挑战性。
• 系统展现出新兴的临床推理能力，并可被引导以生成可复用的分析函数。