[論文レビュー] A New Terrain in HCI: Emotion Recognition Interface using Biometric Data for an Immersive VR Experience

Jae Hyun Nam, Hyesun Chung+2 more|arXiv (Cornell University)|Dec 3, 2019

Emotion and Mood Recognition参考文献 44被引用数 9

ひとこと要約

本論文は、VRヘッドセットに埋め込まれたEEGおよび眼動-trackingセンサーを用いて、没入型VRにおけるユーザーの視覚的刺激への魅力の認識を予測する、シームレスな感情認識インターフェースを提案する。生体認証データを活用した機械学習により、リアルタイムでの感情推定が高精度に達成され、個人に合わせた感情に応じたVR体験が可能となり、AI、物語の展開、ユーザーエクスペリエンス設計分野への応用が強く期待される。

ABSTRACT

Emotion recognition technology is crucial in providing a personalized user experience. It is especially important in virtual reality(VR) to assess the user's emotions to enhance their sense of immersion. We propose an emotion recognition interface that incorporates the user's biometric data with machine learning technology for increasing user engagement in VR. Our key technologies include brainwave sensors and eye-tracking cameras embedded in a VR headset, which seamlessly acquire physiological signals, and secondly, an attractiveness recognition algorithm that uses bio-signals to predict the user's attraction on visual stimuli. We conducted experiments to test the performance of the system, and also interviewed experts and participants to acquire opinions on the system. This study demonstrated the technical feasibility of our system with high accuracy and usability. Interviewees expected that the interface will be actively used in the context of various applications. Our proposed interface could contribute to an immersive VR experience design.

研究の動機と目的

• VRヘッドセット内に統合された生体センシングシステムを、リアルタイムでの感情認識を可能にする、無自覚的で違和感のないものとして開発すること。
• EEGと眼動-trackingデータを統合して、視覚的刺激へのユーザーの魅力を予測する可能性を検証すること。
• 制御された実験と専門家／参加者によるインタビューを通じて、システムの正確性と使いやすさを評価すること。
• 生体センサーに基づく感情認識が、VRアプリケーションにおけるユーザーの関与度とパーソナライズ化をどのように向上させるかを検討すること。
• 顔の表情や声の特徴に依存しない、直接的な生理的信号を用いた将来的な感情認識システムの基盤を構築すること。

提案手法

• 消費者向けVRヘッドセットにドライEEGセンサーや眼動-trackingカメラを統合し、継続的かつ非侵襲的な生体データ収集を実現すること。
• 同期されたEEGおよび眼動-trackingデータに基づいて、ユーザーの魅力評価を予測するための機械学習モデルの開発。
• VRコンテンツへの露出中における脳波活動および注視パターンの動的変化をモニタリングするための時系列解析の活用。
• 単一モodalアプローチを上回る感情認識の正確性を向上させるために、マルチモーダルデータ統合技術の採用。
• 視覚的要素がユーザーの魅力に与える影響を最も顕著に示す要因を特定するために、要因分析の適用。
• 参加者がVR環境でキュレートされた視覚的刺激を観察する制御実験を実施し、生体信号を収集すること。

実験結果

リサーチクエスチョン

• RQ1 埋め込み型EEGおよび眼動-trackingセンサーを備えたVRヘッドセットは、視覚的刺激へのユーザーの魅力をリアルタイムで正確に予測できるか？
• RQ2 EEGと眼動-trackingデータを統合することで、単一モダリティアプローチに比べて魅力予測の正確性がどの程度向上するか？
• RQ3 VR環境におけるユーザーの魅力に最も影響を与える要因としての視覚的および生理的要因は何か？
• RQ4 ユーザーおよび専門家は、VRにおける生体センサーを用いた感情認識の使いやすさ、プライバシー、応用可能性についてどのように評価するか？
• RQ5 トレーニングデータ量の増加が、感情認識モデルの性能にどの程度影響を与えるか？

主な発見

• 提案されたシステムは、EEGと眼動-trackingデータを統合して、視覚的刺激へのユーザーの魅力を高精度に予測した。
• マルチモーダルデータ統合（EEG＋眼動-tracking）は単一モダリティアプローチを上回る正確性を示したが、統計的有意差は認められなかった。
• システムは、リアルタイムで感情反応を継続的にモニタリングでき、VRコンテンツの動的適応を可能にした。
• 要因分析により、色、形状、動きといった特定の視覚的要素がユーザーの魅力に顕著な影響を与えることが判明し、注視パターンは感情的関与と相関していた。
• 参加者および専門家は、パーソナライズドコンテンツ推薦、インタラクティブな物語展開、AI駆動の感情的対話といった応用分野に強い関心を示した。
• 高精度であったが、トレーニングデータ量を10倍に増やしてもモデルの性能は顕著に向上しなかったため、飽和状態またはデータ品質の制限が要因である可能性が示唆された。