[논문 리뷰] BiomechAgent: AI-Assisted Biomechanical Analysis Through Code-Generating Agents

R. James Cotton, Thomas Leonard|arXiv (Cornell University)|2026. 01. 16.

Human Pose and Action Recognition인용 수 0

한 줄 요약

BiomechAgent는 자연어 기반 생체역학 데이터 조회, 시각화 및 해석을 가능하게 하는 코드 생성 AI 에이전트이며, 도메인 특화 프롬프트와 보행 이벤트 도구를 활용하여 데이터 검색, 시각화, 활동 분류, 분절 및 임상 추론 전반에서 벤치마크됩니다.

ABSTRACT

Markerless motion capture is making quantitative movement analysis increasingly accessible, yet analyzing the resulting data remains a barrier for clinicians without programming expertise. We present BiomechAgent, a code-generating AI agent that enables biomechanical analysis through natural language and allows users to querying databases, generating visualizations, and even interpret data without requiring users to write code. To evaluate BiomechAgent's capabilities, we developed a systematic benchmark spanning data retrieval, visualization, activity classification, temporal segmentation, and clinical reasoning. BiomechAgent achieved robust accuracy on data retrieval and visualization tasks and demonstrated emerging clinical reasoning capabilities. We used our dataset to systematically evaluate several of our design decisions. Biomechanically-informed, domain-specific instructions significantly improved performance over generic prompts, and integrating validated specialized tools for gait event detection substantially boosted accuracy on challenging spatiotemporal analysis where the base agent struggled. We also tested BiomechAgent using a local open-weight model instead of a frontier cloud based LLM and found that perform was substantially diminished in most domains other than database retrieval. In short, BiomechAgent makes the data from accessible motion capture and much more useful and accessible to end users.

연구 동기 및 목표

• 자연어 상호작용과 자동 코드 생성을 가능하게 하여 임상의가 마커 없는 모션 캡처 데이터를 분석하는 진입 장벽을 낮춘다.
• 데이터 검색, 시각화, 활동 분류, 시간적 분절 및 임상 추론에 걸쳐 BiomechAgent를 벤치마크한다.
• 성능에 대한 도메인 특화 프롬프트와 전문 도구의 영향력을 평가한다.
• 생체역학적 분석을 위한 클라우드 기반 프런티어 모델과 로컬 오픈-웨이트 모델 간의 트레이드오프를 평가한다.

제안 방법

• BiomechAgent는 자연어 쿼리에서 샌드박스 환경에서 Python 코드를 생성하고 실행하기 위해 smolagents 프레임워크를 사용한다.
• 데이터베이스 쿼리, GaitTransformer를 통한 보행 분석 및 시각화를 위한 도구를 노출하며, 도구 문서는 함수 정의에 내장되어 있다.
• 맞춤형 생체역학 지침은 공식, 단위 및 분석 전략에 대해 에이전트를 안내한다.
• 평가는 클라우드(Gemini 2.5 Flash Lite)와 로컬(MedGemma 27B) LLM 백엔드를 비교하며, GaitTransformer 및 시각 자료의 유무에 따른 제거 실험도 포함한다.
• 성능을 정량화하기 위해 데이터 세트와 평가 프로토콜(시각화 및 임상 추론 작업에 대한 LLM-자-판단 포함)을 개발했다.
• 클라우드 배치와 로컬 모델에 수반되는 보안 고려사항 및 개인정보 보호 제어가 함께 수반된다.

실험 결과

연구 질문

• RQ1 자연어를 사용하여 마커 없는 모션 캡처의 생체역학 데이터를 신뢰성 있게 검색, 시각화 및 추론할 수 있는 코드 생성 AI 에이전트가 있는가?
• RQ2 도메인 특화 프롬프트와 전문 도구가 데이터 검색, 시각화 및 시공간 분석에서 성능에 어떤 영향을 미치는가?
• RQ3 엔드 투 엔드 생체역학 분석 작업에서 클라우드 기반 프런티어 LLM과 로컬 오픈-웨이트 모델의 영향은 무엇인가?
• RQ4 이와 같은 에이전트가 보행 분석 및 관련 작업에서 임상 추론 능력을 어느 정도 보일 수 있는가?

주요 결과

• BiomechAgent는 데이터 검색 및 시각화 작업에서 견고한 정확도를 달성한다.
• 도메인 특화된 생체역학 지침은 일반 프롬프트를 상당히 능가한다.
• 검증된 보행 이벤트 도구(GaitTransformer)를 통합하면 기본 모델이 어려워하는 시공간 분석이 향상된다.
• 프런티어 클라우드 모델(Gemini 2.5)이 대부분의 영역에서 로컬 오픈-웨이트 모델(MedGemma)보다 우수하지만, 로컬 모델은 주로 데이터베이스 검색에서 뛰어나다.
• 시각화 및 인지 작업은 시각-가능한 LLM에서 이점을 얻지만, 일부 작업은 전문 도구가 없으면 여전히 어려움을 보인다.
• 시스템은 신흥 임상 추론 능력을 보여주며 재사용 가능한 분석 함수를 생성하도록 안내될 수 있다.