[논문 리뷰] Exploring Immersive Interpersonal Communication via AR

Kyungjun Lee, Hong Li외 6명|arXiv (Cornell University)|2022. 11. 28.

Virtual Reality Applications and Impacts인용 수 1

한 줄 요약

이 논문은 스마트글래스를 통해 수신자의 물리적 환경에 3차원 객체와 음성 메모를 포함한 몰입형 AR 메시지를 전송할 수 있는 증강현실 메시징 시스템 ARwand를 소개한다. 24명의 참가자에 대한 사용자 연구를 통해 AR 메시징이 정서 표현과 사회적 존재감을 향상시키는 것으로 나타났지만, 실생활 도입을 위한 주요 과제로는 프라이버시, 시각적 가림, 메시지 전달에 대한 통제 문제 등이 제기되었다.

ABSTRACT

A central challenge of social computing research is to enable people to communicate expressively with each other remotely. Augmented reality has great promise for expressive communication since it enables communication beyond texts and photos and towards immersive experiences rendered in recipients' physical environments. Little research, however, has explored AR's potential for everyday interpersonal communication. In this work, we prototype an AR messaging system, ARwand, to understand people's behaviors and perceptions around communicating with friends via AR messaging. We present our findings under four themes observed from a user study with 24 participants, including the types of immersive messages people choose to send to each other, which factors contribute to a sense of immersiveness, and what concerns arise over this new form of messaging. We discuss important implications of our findings on the design of future immersive communication systems.

연구 동기 및 목표

• 기존의 텍스트, 이미지, 영상 메시징을 넘어서 AR이 표현적이고 인터퍼ersonal 커뮤니케이션을 어떻게 향상시킬 수 있는지 조사하기 위해.
• 몰입형 AR 메시지의 발신 및 수신 과정에서 사용자의 행동, 인식, 도전 과제를 이해하기 위해.
• 시간, 위치, 시각적 마커(예: 특정 옷이나 물체)와 같은 맥락 기반 트리거가 메시지의 관련성과 전달에 어떻게 기여하는지 탐색하기 위해.
• 정서적 유대감과 사회적 존재감을 지원하는 미래의 몰입형 커뮤니케이션 시스템의 디자인 함의를 도출하기 위해.

제안 방법

• 스마트글래스 사용자를 대상으로 스마트폰 사용자가 3차원 AR 콘텐츠와 음성 메모를 전송할 수 있는 프로토타입 AR 메시징 시스템 ARwand를 개발하였다.
• 시간, 위치 또는 시각적 마커(예: 특정한 셔츠나 물체) 기반의 트리거를 통해 메시지를 맥락에 맞게 전달할 수 있도록 하였다.
• 10일간의 기간 동안 24명의 참가자(12쌍)를 대상으로 사용자 연구를 실시하였으며, 각 참가자는 발신자 또는 수신자 역할을 하였다.
• 인터뷰와 관찰을 통해 질적 데이터를 수집하였으며, 메시지 제작, 몰입감 인식, 반응 행동, 프라이버시 우려 등을 중심으로 분석하였다.
• 수신자의 반응(예: 구어적 반응, 얼굴 표정)을 자동 캡처하여 발신자가 실시간 피드백을 볼 수 있도록 하였다.
• 네 가지 주제(메시지 유형, 트리거 사용, 몰입감, 반응 행동)에 따라 발견된 결과를 분석하였다.

실험 결과

연구 질문

• RQ1 사용자가 전송하기 위해 선택하는 몰입형 메시지의 유형은 무엇이며, 이를 공유된 기억이나 정서 표현과 어떻게 연관시키는가?
• RQ2 시간, 위치, 시각적 마커와 같은 맥락 기반 트리거가 AR 메시지 전달의 관련성과 성공에 어떻게 영향을 미치는가?
• RQ3 AR 메시징에서 몰입감을 느끼게 하는 요소는 무엇이며, 과도한 몰입 또는 시각적 가림으로 인해 발생하는 문제들은 무엇인가?
• RQ4 수신자는 AR 메시지에 어떻게 반응하며, 발신자와 공유하기를 원하는 피드백 유형은 무엇인가?

주요 결과

• 발신자들은 전통적인 메시징 방식보다 정서 표현과 기억 공유를 더 생생하게 전달하기 위해 AR 메시지를 활용하였으며, 특히 애니메이션 개와 같은 유쾌하거나 추억을 자극하는 3차원 객체를 자주 선택하였다.
• 참가자들은 AR 메시지가 텍스트나 사진 메시지보다 수신자에게 더 강한 정서적 반응을 유도하며, 존재감과 유대감을 증진시킨다고 보고하였다.
• 시간 또는 위치 기반 트리거가 메시지 소비율을 크게 향상시켰으며, 수신자의 맥락에 맞게 메시지를 전송함으로써 메시지의 영향력과 정교함이 증가한다는 점을 사용자가 인지하였다.
• 수신자들은 맥락에 맞는 경우 AR 메시지를 즐겁게 느꼈지만, 일상 환경에서의 시각적 가림과 산만함에 대한 우려를 제기하였다.
• 많은 수신자들이 실시간 반응을 발신자와 공유하고자 하였지만, 프라이버시 및 자동 녹화 기능에 대한 통제력을 더 강화하고자 하는 바람을 나타내었다.
• 발신자들은 수신자의 일상과 환경에 더 깊이 이해하고자 하여 메시지 전송 시점을 더 정교하게 조절하고자 하는 욕구를 보였으며, 이는 맥락 인식 및 백업 전달 메커니즘에 대한 필요성을 시사한다.