[논문 리뷰] A Full Body Avatar-Based Telepresence System for Dissimilar Spaces

Leonard Yoon, D.Y. Yang외 2명|arXiv (Cornell University)|2021. 03. 07.

Virtual Reality Applications and Impacts참고 문헌 23인용 수 8

한 줄 요약

이 논문은 공간적 배치, 제스처, 머리 움직임을 원격 아바타로 리타겟링하여 이질적인 물리적 공간에 있는 사용자 간의 자연스러운 상호작용을 가능하게 하는 풀바디 아바타 기반 원격 존재 시스템을 제시한다. 이 시스템은 운동 리타겟팅과 적응형 아바타 배치를 통해 서로 다른 실내 레이아웃에도 불구하고 공존감과 공유 물체 상호작용을 유지한다.

ABSTRACT

We present a novel mixed reality (MR) telepresence system enabling a local user to interact with a remote user through full-body avatars in their own rooms. If the remote rooms have different sizes and furniture arrangements, directly applying a user's motion to an avatar leads to a mismatch of placement and deictic gesture. To overcome this problem, we retarget the placement, arm gesture, and head movement of a local user to an avatar in a remote room to preserve a local user's environment and interaction context. This allows avatars to utilize real furniture and interact with a local user and shared objects as if they were in the same room. This paper describes our system's design and implementation in detail and a set of example scenarios in the living room and office room. A qualitative user study delves into a user experience, challenges, and possible extensions of the proposed system.

연구 동기 및 목표

• 이질적인 물리적 공간에 있는 사용자 간에 아바타를 활용해 자연스럽고 풀바디 상호작용을 가능하게 하기 위해.
• 다른 환경에서 직접 사용자 운동을 원격 아바타에 매핑할 경우 발생하는 공간 맥락 불일치 문제를 해결하기 위해.
• 의자나 테이블 등의 가구 레이아웃과 실내 치수의 차이에도 불구하고 사용자의 상호작용 맥락(예: 공유 물체를 가리키는 동작)을 유지하기 위해.
• 현장 환경과 공유 물체에 비례해 아바타를 동적으로 최적 위치에 배치함으로써 공존감과 협업을 향상시키기 위해.
• 실세계 환경에서 풀바디 아바타 원격 존재의 사용자 경험, 도전 과제, 실용적 응용 가능성을 탐색하기 위해.

제안 방법

• 공간 매핑과 자세 추정을 활용하여 현지 사용자의 풀바디 운동(배치, 팔 제스처, 머리 움직임)을 원격 아바타로 리타겟링한다.
• 이전 연구에서 제안한 배치 알고리즘 [29]을 활용하여 환경의 기능적 특성에 기반해 원격 공간 내 최적의 아바타 위치를 결정한다.
• 운동 추적을 통해 지시적 제스처(가리키는 동작)를 감지하고, 이를 원격 아바타의 해당 제스처 동작으로 매핑한다.
• 실시간 공간 분석을 통해 아바타가 공유 가상 물체와 물리적 가구와 함께 실제 함께 존재하는 것처럼 상호작용하도록 보장한다.
• 소비자용 하드웨어(예: HMD, 운동 추적 장치)를 활용해 실용적인 구현을 구축한다.
• 제스처 리타겟팅과 아바타 위치 설정을 통합하여 공간적으로 이질적인 환경 간에도 일관된 상호작용 맥락을 유지한다.

실험 결과

연구 질문

• RQ1 다른 레이아웃을 가진 원격 공간에 풀바디 아바타를 효과적으로 배치하여 사용자의 공간적 맥락과 상호작용 맥락을 유지할 수 있는가?
• RQ2 지시적 제스처 리타겟팅이 원격 존재 시스템에서 의사소통과 공존감에 얼마나 기여하는가?
• RQ3 실제 이질적인 공간에서 풀바디 아바타 원격 존재를 사용할 때의 사용자 경험 도전 과제와 인식된 이점은 무엇인가?
• RQ4 풀바디 아바타가 있는 원격 존재 시스템에서 사용자는 공간 불일치, 이동 방식, 비언어적 신호를 어떻게 인지하는가?
• RQ5 풀바디 아바타를 활용한 자연스럽고 맥락을 유지하는 원격 협업을 지원하는 시스템에서 나타나는 실용적 응용은 무엇인가?

주요 결과

• 참가자들은 시스템이 원격 파art너 및 공유 가상 물체와 자연스럽고 맥락을 유지하는 상호작용을 가능하게 하여 공존감을 향상시켰다고 보고했다.
• 다른 실내 레이아웃에도 불구하고 제스처 리타겟팅과 최적 위치에 배치된 아바타를 통해 시스템이 상호작용 맥락을 성공적으로 유지했다.
• 공유 물체를 가리키고 원격 아바타도 같은 대상을 향해 가리키는 기능이 효과적인 의사소통에 매우 중요하다고 사용자들이 인지했다.
• 공간 음향의 부재는 중대한 단점으로 평가되었으며, 사용자들은 파art너의 위치를 파악하지 못해 떨어져 있는 감각과 혼란을 느꼈다.
• 참가자들은 원격 프레젠테이션 협업, 가족과 함께하는 온라인 쇼핑, 시력이 불량한 사람의 만남(블라인드 데이팅)과 같은 실용적 응용 가능성을 제안하였으며, 이는 높은 사용성 잠재력을 시사했다.
• 피드백은 특히 갑작스러운 텔레포트 방식의 아바타 이동이 공존감과 공간 인식을 해칠 수 있음을 강조하며 도전 과제로 지적했다.