[論文レビュー] ViSTAR: Virtual Skill Training with Augmented Reality with 3D Avatars and LLM coaching agent

Chunggi Lee, Hayato Saiki+5 more|arXiv (Cornell University)|Feb 25, 2026

Action Observation and Synchronization被引用数 0

ひとこと要約

ViSTARは3DアバターとAIコーチングエージェントを利用したARベースのバスケットボールスキル訓練システムで、BSTに整合した指導・モデリング・リハーサル・フィードバックを提供する。

ABSTRACT

We present ViSTAR, a Virtual Skill Training system in AR that supports self-guided basketball skill practice, with feedback on balance, posture, and timing. From a formative study with basketball players and coaches, the system addresses three challenges: understanding skills, identifying errors, and correcting mistakes. ViSTAR follows the Behavioral Skills Training (BST) framework-instruction, modeling, rehearsal, and feedback. It provides feedback through visual overlays, rhythm and timing cues, and an AI-powered coaching agent using 3D motion reconstruction. We generate verbal feedback by analyzing spatio-temporal joint data and mapping features to natural-language coaching cues via a Large Language Model (LLM). A key novelty is this feedback generation: motion features become concise coaching insights. In two studies (N=16), participants generally preferred our AI-generated feedback to coach feedback and reported that ViSTAR helped them notice posture and balance issues and refine movements beyond self-observation.

研究の動機と目的

• ARガイダンスで embodied バスケットボールスキルの理解と修正の障壁を解消する。
• ARでBST情報に基づく指導フレームワーク（指導・モデリング・リハーサル・フィードバック）を提供する。
• 運動学データをLLMパワードのパイプラインを通じて言語・視覚的なコーチングの合図へ変換する。
• リアルタイムの視覚オーバーレイとAIコーチによるセルフガイド練習を有効化する。
• パイロット研究でAI生成フィードバックと人間コーチのフィードバックのユーザー認識を評価する。

提案手法

• ARでの指導・モデリング・リハーサル・フィードバックを用いたBSTを採用。
• 3D再構成を用いて参照アバターをアニメーション化し、多角度検査のオーバーレイを提供。
• モーション分析（ポーズ推定、DTW、Random Forest）を統合して視覚・言語的フィードバックを生成。
• 視覚オーバーレイと骨格手がかりを通じて、全体的（流れ・タイミング）および局所的（関節レベル）指導を実施。
• モーション特徴をLLMベースのフィードバック生成器へ結び付けることで自然言語のコーチング合図を生成。
• AI生成コーチングを2つのユーザ研究（総計N=16）で評価。

実験結果

リサーチクエスチョン

• RQ1 ARとAIは embodied バスケットボールスキルに対して効果的でコーチのようなフィードバックを提供できるか。
• RQ2 姿勢と動作修正においてAI生成フィードバックはコーチのフィードバックより好まれるか。
• RQ3 BST整合ARガイダンスは学習者が姿勢・バランスの問題に気づき、自己観察を超えた動作の改善を促せるか。
• RQ4 ARでの自己指向練習を支援する効果的な視覚・言語的フィードバック方式は何か。

主な発見

• 参加者は姿勢の誤り識別と具体的な修正においてAI生成フィードバックを好む傾向を示した。
• ARガイダンスは姿勢とバランスの問題に気づく助けとなり、自己観察を超えた動作の改善を促進した。
• 2つのユーザ研究（N=16）でAIフィードバックは好評で魅力的であったが、サンプルサイズがパフォーマンスの主張を制限した。
• 関節レベルのモーション分析を自然言語のコーチング合図へ翻訳する実現性を、LLMを介して示した。
• ViSTARは3Dアバターと多面的フィードバックを備えたBST整合ARコーチングの枠組みを提供する。
• 言語的フィードバック生成はDTWに整列したモーション記述子とRandom Forestの特徴量重要度を用いてLLMsを促す。