[논문 리뷰] Affordance Analysis of Virtual and Augmented Reality Mediated Communication

Mohammad Keshavarzi, Michael Wu외 3명|arXiv (Cornell University)|2019. 04. 09.

Virtual Reality Applications and Impacts참고 문헌 31인용 수 7

한 줄 요약

이 연구는 가상현실(VR) 및 증강현실(AR)을 통해 이루어지는 1:1 대화에서 비언어적 커뮤니케이션 특징을 9종의 작업 유형을 통해 사용자 실험을 통해 조사한다. 그 결과, 효과적인 双방향 커뮤니케이션을 위해 가장 중요한 요소는 미세표정 신호의 유지이며, 특히 정서적으로 몰입하거나 지적적으로 복잡한 논의에서 신체 크기, 머리 자세, 제스처보다 더 높은 영향을 미친다.

ABSTRACT

Virtual and augmented reality communication platforms are seen as promising modalities for next-generation remote face-to-face interactions. Our study attempts to explore non-verbal communication features in relation to their conversation context for virtual and augmented reality mediated communication settings. We perform a series of user experiments, triggering nine conversation tasks in 4 settings, each containing corresponding non-verbal communication features. Our results indicate that conversation types which involve less emotional engagement are more likely to be acceptable in virtual reality and augmented reality settings with low-fidelity avatar representation, compared to scenarios that involve high emotional engagement or intellectually difficult discussions. We further systematically analyze and rank the impact of low-fidelity representation of micro-expressions, body scale, head pose, and hand gesture in affecting the user experience in one-on-one conversations, and validate that preserving micro-expression cues plays the most effective role in improving bi-directional conversations in future virtual and augmented reality settings.

연구 동기 및 목표

• VR/AR를 통한 1:1 대화에서 다양한 비언어적 커뮤니케이션 특징이 사용자 경험에 미치는 영향을 평가하기 위해.
• 가상 환경에서 성공적인 커뮤니케이션에 가장 중요한 비언어적 신호—예: 미세표정, 제스처, 신체 크기, 머리 자세—를 특정하기 위해.
• 대화의 맥락(정서적 몰입 대비 지적 복잡성)이 특정 커뮤니케이션 특징의 중요도에 미치는 영향을 규명하기 위해.
• 사용자 중심의 영향을 기반으로 자원 할당 우선순위를 정하여 향후 VR/AR 개발을 안내하기 위해.
• 사용자 경험과 비언어적 커뮤니케이션 품질 측면에서 VR, AR, 2D 비디오 컨퍼런싱 환경 간의 사용성과 품질을 비교하기 위해.

제안 방법

• 2D 비디오 컨퍼런싱, VR, AR, 홀로그램 프로젝션의 네 가지 커뮤니케이션 환경에서 사용자 실험을 수행하였다.
• 다양한 정서적 및 지적 몰입 수준을 가진 9종의 대화 작업을 설계하여 다양한 커뮤니케이션 맥락을 테스트하였다.
• 직접 피드백은 리커트 척도 설문지를 통해, 간접적인 행동 분석은 대화 결과를 통해 수집하였다.
• 핵심 비언어적 특징(미세표정, 제스처, 신체 크기, 머리 자세)의 유무를 체계적으로 조작하고 평가하였다.
• 각 커뮤니케이션 특징의 영향을 대화 성공률과 참가자 평가를 기반으로 순위 매겼다.
• 다양한 작업 유형에서 직접 설문 응답과 간접 성과 데이터를 비교하여 연구 결과의 타당성을 검증하였다.

실험 결과

연구 질문

• RQ1 정서적으로 몰입하거나 지적적으로 복잡한 대화 유형이 VR/AR 커뮤니케이션에서 비언어적 신호의 인식 효과에 어떻게 영향을 미치는가?
• RQ2 미세표정, 제스처, 신체 크기, 머리 자세가 몰입형 커뮤니케이션 환경에서 사용자 경험에 미치는 상대적 영향은 무엇인가?
• RQ3 특정 비언어적 신호의 부재가 대화 품질에 부정적인 영향을 미친다고 사용자가 얼마나 인지하는가?
• RQ4 직접 사용자 평가와 간접 성과 지표 간의 비교에서 커뮤니케이션 특징의 중요도 평가가 어떻게 다를 수 있는가?
• RQ5 VR/AR에서 이중 방향 커뮤니케이션의 효과를 높이는 데 가장 크게 기여하는 비언어적 특징은 무엇인가? (미세표정, 제스처, 신체 크기, 머리 자세 중)

주요 결과

• 정서적으로 몰입하거나 지적적으로 복잡한 대화는 특히 미세표정이 유지되지 않을 경우 저품질 VR/AR 환경에서 상당히 낮은 수용성을 보였다.
• 미세표정은 대화 품질에 가장 큰 영향을 미치며, 특히 정서적으로 몰입된 작업에서 부재할 경우 승인률이 크게 하락하였다.
• 신체 크기는 가장 낮은 중요도를 지녔으며, 현실적과 비현실적 크기 간 승인률에 유의미한 차이가 없었다.
• 머리 자세는 인식된 영향이 미미하였으며, 참가자들은 거의 머리 자세가 커뮤니케이션 품질에 영향을 준다고 언급하지 않았다.
• 제스처는 직접 평가(34% 높은 중요도 인식)와 간접 성과 간 괴리가 있었으며, 이는 VR의 한계가 인식을 왜곡시킬 수 있음을 시사한다.
• 직접 설문 응답과 간접 분석의 조합을 통해, 미세표정이 몰입형 환경에서 효과적인 双방향 커뮤니케이션을 유지하는 데 가장 효과적인 비언어적 신호임을 확인하였다.