[論文レビュー] Affordance Analysis of Virtual and Augmented Reality Mediated Communication

Mohammad Keshavarzi, Michael Wu+3 more|arXiv (Cornell University)|Apr 9, 2019

Virtual Reality Applications and Impacts参考文献 31被引用数 7

ひとこと要約

本研究では、9種類のタスクタイプを通じたユーザー実験を通じて、バーチャルリアリティ（VR）および拡張現実（AR）を介した1対1の会話における非言語的コミュニケーション特徴を調査した。その結果、特に感情的・感情的な会話や知的・複雑な議論において、双方向的コミュニケーションの効果を高めるために、微表情の手がかりを保持することが最も重要な要因であることが判明した。これは、ボディスケール、ヘッドポーズ、ジェスチャーを上回る影響を持つことがわかった。

ABSTRACT

Virtual and augmented reality communication platforms are seen as promising modalities for next-generation remote face-to-face interactions. Our study attempts to explore non-verbal communication features in relation to their conversation context for virtual and augmented reality mediated communication settings. We perform a series of user experiments, triggering nine conversation tasks in 4 settings, each containing corresponding non-verbal communication features. Our results indicate that conversation types which involve less emotional engagement are more likely to be acceptable in virtual reality and augmented reality settings with low-fidelity avatar representation, compared to scenarios that involve high emotional engagement or intellectually difficult discussions. We further systematically analyze and rank the impact of low-fidelity representation of micro-expressions, body scale, head pose, and hand gesture in affecting the user experience in one-on-one conversations, and validate that preserving micro-expression cues plays the most effective role in improving bi-directional conversations in future virtual and augmented reality settings.

研究の動機と目的

• VR/ARを介した1対1の会話における、さまざまな非言語的コミュニケーション特徴がユーザー体験に与える影響を評価すること。
• VR/ARの没入型環境において、成功したコミュニケーションに最も重要な非言語的手がかり（例：微表情、ジェスチャー、ボディスケール、ヘッドポーズ）を同定すること。
• 会話の文脈（感情的関与対知的関与）が、特定のコミュニケーション特徴の重要性の認識に与える影響を特定すること。
• ユーザー中心の影響に基づき、通信機能のリソース配分を優先する根拠を提供することで、将来的なVR/AR開発を支援すること。
• VR、AR、2Dビデオ会議の3つの環境を比較し、非言語的コミュニケーションの使いやすさと認識品質の観点から評価すること。

提案手法

• 2Dビデオ会議、VR、AR、ホログラフィックプロジェクションの4つのコミュニケーション環境でユーザー実験を実施した。
• 感情的関与と知的関与の両方の側面を変化させた9種類の会話タスクを設計し、さまざまなコミュニケーション文脈をテストした。
• リークット尺度によるアンケートによる直接フィードバックと、会話の成果からの間接的行動分析を収集した。
• 微表情、ジェスチャー、ボディスケール、ヘッドポーズといった重要な非言語的特徴の有無/無しを体系的に操作し、評価した。
• 会話の成功度と参加者の評価に基づく承認率を用いて、各コミュニケーション特徴の影響を順位付けした。
• 異なるタスクタイプにおける直接的アンケート反応と間接的パフォーマンスデータの比較を通じて、研究結果の妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 感情的関与と知的複雑さの異なる会話タイプが、VR/ARコミュニケーションにおける非言語的手がかりの効果の認識にどのように影響するか？
• RQ2 微表情、ジェスチャー、ボディスケール、ヘッドポーズの相対的な影響が、没入型コミュニケーション環境におけるユーザー体験に与える影響はどの程度か？
• RQ3 特定の非言語的手がかりの欠如が、会話の質に悪影響を及えるとユーザーがどの程度認識しているか？
• RQ4 直接のユーザー評価と間接的なパフォーマンス指標の間には、通信機能の重要性を評価する上でどのような差があるか？
• RQ5 微表情、ジェスチャー、ボディスケール、ヘッドポーズの中から、VR/ARにおける双方向的コミュニケーションを最も効果的に向上させる非言語的特徴はどれか？

主な発見

• 感情的関与や知的複雑さの高い会話は、微表情が保持されていない低精細度のVR/AR環境では著しく受け入れられにくくなる。
• 微表情の手がかりが会話の質に最も大きな影響を与えることが判明し、特に感情的関与の高いタスクでは、その欠如により承認率が著しく低下した。
• ボディスケールは最も重要な要因でなく、現実的・非現実的スケールの間で承認率の有意差は認められなかった。
• ヘッドポーズはほとんど認識上の影響がなく、参加者の多くがコミュニケーション品質に影響すると認識していなかった。
• ジェスチャーは、直接評価（34％高い認識重要性）と間接的パフォーマンスの間に乖離が認められ、VRの制限が認識を歪めている可能性がある。
• 直接アンケート反応と間接的分析の組み合わせにより、微表情が没入型環境における効果的な双方向的コミュニケーションを維持するために最も効果的な非言語的手がかりであることが確認された。