[論文レビュー] Exploring Immersive Interpersonal Communication via AR

Kyungjun Lee, Hong Li+6 more|arXiv (Cornell University)|Nov 28, 2022

Virtual Reality Applications and Impacts被引用数 1

ひとこと要約

本論文では、スマートグラスを通じて受信者の物理的環境に没入型ARメッセージ—音声ノート付きの3Dオブジェクト—を送信できる拡張現実（AR）メッセージングシステムARwandを紹介する。24名の参加者を対象としたユーザースタディーの結果、ARメッセージングは感情表現や社会的臨場感を高めるが、プライバシー、視覚的遮断、メッセージ配信の制御に関する懸念が、実世界への導入における主な課題として浮上した。

ABSTRACT

A central challenge of social computing research is to enable people to communicate expressively with each other remotely. Augmented reality has great promise for expressive communication since it enables communication beyond texts and photos and towards immersive experiences rendered in recipients' physical environments. Little research, however, has explored AR's potential for everyday interpersonal communication. In this work, we prototype an AR messaging system, ARwand, to understand people's behaviors and perceptions around communicating with friends via AR messaging. We present our findings under four themes observed from a user study with 24 participants, including the types of immersive messages people choose to send to each other, which factors contribute to a sense of immersiveness, and what concerns arise over this new form of messaging. We discuss important implications of our findings on the design of future immersive communication systems.

研究の動機と目的

• ARが従来のテキスト、画像、動画メッセージングをはるかに超えて、表現的で人間関係に特化したコミュニケーションをどのように向上させられるかを調査すること。
• 没入型ARメッセージの送受信におけるユーザーの行動、認識、および直面する課題を理解すること。
• 時間、場所、視覚的マーカー（例：特定のシャツや物体）などの文脈的トリガーが、メッセージの関連性と配信の質にどのように寄与するかを調査すること。
• 感情的なつながりや社会的臨場感を支援する今後の没入型コミュニケーションシステムの設計に向けた示唆を明らかにすること。

提案手法

• スマートフォンユーザーがスマートグラスユーザーに3D ARコンテンツと音声ノートを送信できるARメッセージングシステムARwandのプロトタイプを開発した。
• 時間、場所、または視覚的マーカー（例：特定のシャツや物体）に基づいたメッセージトリガーを実装し、文脈に応じたメッセージ配信を可能にした。
• 10日間の期間、24名の参加者（12組のペア）を対象にユーザースタディーを実施し、各参加者は送信者または受信者としての役割を担当した。
• インタビューと観察を通じて、メッセージ作成、没入感の認識、反応行動、プライバシー懸念を焦点とした定性的データを収集した。
• 受信者の反応（例：言語的・顔の反応）を自動で記録することで、送信者がリアルタイムで反応を確認できる仕組みを実装した。
• 4つのテーマ（メッセージの種類、トリガーの使用状況、没入感の認識、反応行動）に基づいて分析を行った。

実験結果

リサーチクエスチョン

• RQ1 ユーザーはどのような種類の没入型メッセージを送信するのか。また、それらは共有された記憶や感情表現とどのように関連しているか。
• RQ2 時間、場所、視覚的マーカーなどの文脈的トリガーは、ARメッセージの配信の関連性と成功にどのように影響するか。
• RQ3 ARメッセージングにおける没入感を生み出す要因は何か。一方で、過剰な没入感や視覚的遮断に起因する懸念はどのようなものか。
• RQ4 受信者はARメッセージに対してどのように反応するのか。また、送信者に共有したいと感じるのはどのようなフィードバックか。

主な発見

• 送信者は、従来のメッセージングより感情をより強く伝え、記憶をより鮮明に共有するためにARメッセージを利用しており、特にアニメーション付きのドッグなどの遊び心やノスタルジックな3Dオブジェクトを好んで選択した。
• 参加者らは、ARメッセージがテキストや写真メッセージよりも強い感情的反応を引き起こし、臨場感やつながりの感情を高めたと報告した。
• 時間や場所に基づくトリガーは、メッセージの受信率を顕著に向上させた。ユーザーは、受信者の状況に合わせてメッセージをタイミングよく送信することで、メッセージのインパクトと「思いやりのある行動」としての認識が高まったと述べた。
• 受信者らは、文脈的に適切な場合、ARメッセージが楽しいと感じたが、日常の環境で視覚的遮断や気晴らしの妨げになる懸念を示した。
• 多くの受信者が、リアルタイムでの反応を送信者と共有したいと感じたが、特にプライバシーや自動録画に関する制御の強化を望んでいた。
• 送信者らは、受信者の生活習慣や環境をより深く理解することで、メッセージのタイミングを最適化できるようになりたいと述べ、文脈認識とフォールバック配信メカニズムの必要性を強調した。