[논문 리뷰] ViSTAR: Virtual Skill Training with Augmented Reality with 3D Avatars and LLM coaching agent

Chunggi Lee, Hayato Saiki외 5명|arXiv (Cornell University)|2026. 02. 25.

Action Observation and Synchronization인용 수 0

한 줄 요약

ViSTAR는 3D 아바타와 AI 코칭 에이전트를 활용하여 BST에 맞춘 지시, 모델링, 리허설 및 피드백을 제공하는 AR 기반 농구 기술 훈련 시스템이다.

ABSTRACT

We present ViSTAR, a Virtual Skill Training system in AR that supports self-guided basketball skill practice, with feedback on balance, posture, and timing. From a formative study with basketball players and coaches, the system addresses three challenges: understanding skills, identifying errors, and correcting mistakes. ViSTAR follows the Behavioral Skills Training (BST) framework-instruction, modeling, rehearsal, and feedback. It provides feedback through visual overlays, rhythm and timing cues, and an AI-powered coaching agent using 3D motion reconstruction. We generate verbal feedback by analyzing spatio-temporal joint data and mapping features to natural-language coaching cues via a Large Language Model (LLM). A key novelty is this feedback generation: motion features become concise coaching insights. In two studies (N=16), participants generally preferred our AI-generated feedback to coach feedback and reported that ViSTAR helped them notice posture and balance issues and refine movements beyond self-observation.

연구 동기 및 목표

• AR 가이드를 통한 신체화된 농구 기술의 이해 및 수정의 장벽 해소.
• AR에서 BST 정보를 반영한 교육 프레임워크(지시, 모델링, 리허설, 피드백) 제공.
• LLM 기반 파이프라인을 통해 운동학 데이터를 구두 및 시각 코칭 신호로 변환.
• 실시간 시각 오버레이와 AI 코치로 자기주도 학습 가능하게 함.
• 파일럿 연구에서 AI 생성 피드백과 인간 코칭 피드백에 대한 사용자 인지 평가.

제안 방법

• AR에서 지시, 모델링, 리허설 및 피드백을 포함한 BST를 활용한 방법.
• 참조 아바타를 애니메이션화하고 다각도 검사를 위한 오버레이를 제공하기 위해 3D 재구성 사용.
• 움직임 분석(포즈 추정, DTW, Random Forest)을 합성하여 시각 및 구두 피드백 생성.
• 시각 오버레이와 골격 신호를 통해 전반적(흐름/타이밍) 및 국소적(관절 수준) 지침 구현.
• 운동 특징을 연결하여 자연어 코칭 신호를 생성하는 LLM 기반 피드백 생성기를 사용.
• 두 개의 사용자 연구(N=16 총)에서 AI 생성 코칭을 평가.

실험 결과

연구 질문

• RQ1 AR 및 AI가 신체화된 농구 기술에 대해 효과적이고 코치와 같은 피드백을 어떻게 제공할 수 있는가?
• RQ2 자세와 움직임 교정을 위해 AI 생성 피드백이 코치 피드백보다 사용자에게 선호되는가?
• RQ3 BST- aligned AR 가이드가 학습자가 자세/균형 문제를 알아차리고 자기관찰을 넘어 움직임을 다듬게 도울 수 있는가?
• RQ4 AR에서 자기주도 학습을 지원하기 위한 효과적인 시각 및 구두 피드백 방식은 무엇인가?

주요 결과

• 참가자들이 기본 자세 오류 식별 및 구체적 수정에 대해 AI 생성 피드백을 선호했다.
• AR 가이드가 자세 및 균형 문제를 알아차리고 자기관찰을 넘어 움직임을 개선하는 데 도움을 주었다.
• 두 개의 사용자 연구(N=16)에서 AI 피드백은 호응도 높고 몰입도가 있었으나 표본 크기가 성능 주장을 제약했다.
• 관절 수준의 운동 분석을 자연어 코칭 신호로 변환하는 것을 LLM을 통해 구현하는 가능성을 시연했다.
• ViSTAR는 3D 아바타와 다면 피드백으로 BST에 맞춘 AR 코칭 프레임워크를 제공한다.
• 구두 피드백 생성을 DTW 정렬된 모션 디스크립터 및 Random Forest 피처 중요도를 사용하여 LLM에 제공한다.