[論文レビュー] Behavioral Engagement in VR-Based Sign Language Learning: Visual Attention as a Predictor of Performance and Temporal Dynamics

Traini, Davide, Alcalde-Llergo, José Manuel+3 more|arXiv (Cornell University)|Mar 20, 2026

Virtual Reality Applications and Impacts被引用数 0

ひとこと要約

この研究はVRの手話学習アプリ（VA、VRF、PPVT）で自動取得されたエンゲージメント指標を分析し、Visual AttentionとPost-Playback Viewing Timeが学習成績を強く予測し、VAが最も強い予測因子であることを示すとともに、訓練と検証中の時系列的エンゲージメントパターンを特徴づける。

ABSTRACT

This study analyzes behavioral engagement in SONAR, a virtual reality application designed for sign language training and validation. We focus on three automatically derived engagement indicators (Visual Attention (VA), Video Replay Frequency (VRF), and Post-Playback Viewing Time (PPVT)) and examine their relationship with learning performance. Participants completed a self-paced Training phase, followed by a Validation quiz assessing retention. We employed Pearson correlation analysis to examine the relationships between engagement indicators and quiz performance, followed by binomial Generalized Linear Model (GLM) regression to assess their joint predictive contributions. Additionally, we conducted temporal analysis by aggregating moment-to-moment VA traces across all learners to characterize engagement dynamics during the learning session. Results show that VA exhibits a strong positive correlation with quiz performance,followed by PPVT, whereas VRF shows no meaningful association. A binomial GLM confirms that VA and PPVT are significant predictors of learning success, jointly explaining a substantial proportion of performance variance. Going beyond outcome-oriented analysis, we characterize temporal engagement patterns by aggregating moment-to-moment VA traces across all learners. The temporal profile reveals distinct attention peaks aligned with informationally dense segments of both training and validation videos, as well as phase-specific engagement dynamics, including initial acclimatization, oscillatory attention cycles during learning, and pronounced attentional peaks during assessment. Together, these findings highlight the central role of sustained and strategically allocated visual attention in VR-based sign language learning and demonstrate the value of behavioral trace data for understanding and predicting learner engagement in immersive environments.

研究の動機と目的

• VRログから得られる客観的な行動エンゲージメント指標が手話学習成果を予測する理解を促進する。
• VR由来のエンゲージメント指標（Visual Attention、Video Replay Frequency、Post-Playback Viewing Time）がクイズ成績と相関・予測に寄与するかを特定する。
• VR手話訓練と検証セッション中にエンゲージメント指標が時間とともにどのように変化するかを検討する。
• 行動痕跡データの適応的で注意喚起型のVR学習分析の価値を示す。

提案手法

• TrainingおよびValidation中の signing video ROI に対する向けられた時間の比率として Visual Attention (VA) を算出。
• Training中の総 Training 時間で正規化した動画再生回数として Video Replay Frequency (VRF) を算出。
• 再生終了後も画面上にビデオが表示されている時間を Post-Playback Viewing Time (PPVT) として算出し、発表後の処理を反映。
• VA、VRF、PPVT とクイズ成績との関係を Pearson 相関で評価。
• VA、VRF、PPVT の共同予測寄与を評価するために binomial Generalized Linear Model (GLM) を用いる。

Figure 1: Flow diagram of the SONAR experience.

実験結果

リサーチクエスチョン

• RQ1 RQ1: immersive 手話トレーニングにおける行動エンゲージメント指標（VA、VRF、PPVT）は学習成果とどのように関連するか。
• RQ2 RQ2: 手話ビデオ視聴中、学習者の注意とエンゲージメントは時間とともにどのように推移し、どのような一般的な時系列パターンが現れるか。

主な発見

• VA はクイズ成績と強い正の相関を示す（r = 0.76）。
• PPVT は成績と実質的な正の相関を示す（r = 0.66）。
• VRF は成績との有意な関連を示さない。
• binomial GLM は VA および PPVT を有意な予測因子として確認し、共同で分散の substantial portion を説明する（pseudo-R^2 = 0.83）。
• 時系列分析は注意が情報量が多いセグメントと学習・評価中の相位特有のエンゲージメント動態に整列することを示す。

Figure 2: Distribution of correct answers in the Validation phase.