[논문 리뷰] AvatarGo: Plug and Play self-avatars for VR

José Luis Pontón, Eva Monclús외 1명|arXiv (Cornell University)|2022. 01. 01.

Virtual Reality Applications and Impacts인용 수 7

한 줄 요약

AvatarGo는 저비용 트래커(HMD, 2개의 컨트롤러, 3개의 트래커)를 사용하여 VR에서 개인화된 자기 아바타를 만드는 즉시 사용 가능한 시스템을 제안한다. 간단한 보행 캘리브레이션을 통해 사용자별로 신체 트래커와 아바타 관절 간의 오프셋 값을 계산하여 자세 정확도와 몰입감을 크게 향상시킨다. 사용자 연구 결과, 고정 오프셋 대비 정확한 오프셋을 사용할 경우 몰입감(SoE)이 통계적으로 유의미하게 향상됨(p < .001, d = 0.60)을 확인하였다.

ABSTRACT

The use of self-avatars in a VR application can enhance presence and embodiment which leads to a better user experience. In collaborative VR it also facilitates non-verbal communication. Currently it is possible to track a few body parts with cheap trackers and then apply IK methods to animate a character. However, the correspondence between trackers and avatar joints is typically fixed ad-hoc, which is enough to animate the avatar, but causes noticeable mismatches between the user's body pose and the avatar. In this paper we present a fast and easy to set up system to compute exact offset values, unique for each user, which leads to improvements in avatar movement. Our user study shows that the Sense of Embodiment increased significantly when using exact offsets as opposed to fixed ones. We also allowed the users to see a semitransparent avatar overlaid with their real body to objectively evaluate the quality of the avatar movement with our technique.

연구 동기 및 목표

• VR에서 실제 신체 운동과 가상 아바타 간의 정확하고 사용자별로 맞춤화된 자세 매칭이 부족한 문제를 해결하기 위해.
• 설정 복잡도를 줄이고 아바타 애니메이션 파이프라인에서 트래커-관절 오프셋 수동 조정을 제거하기 위해.
• 사용자와 아바타 간의 시각-운동 불일치를 최소화하여 몰입감(SoE)을 향상시키기 위해.
• 표준 하드웨어와 Unity를 사용하여 어떤 VR 애플리케이션과도 호환되는 즉시 사용 가능한 솔루션을 제공하기 위해.
• 투과형 HMD 카메라를 활용한 반투명한 겹쳐보기 아바타 모드를 통해 아바타 정확도를 객관적으로 평가하기 위해.

제안 방법

• 사용자가 그 자리에 서서 허리와 발에 부착된 트래커를 거울에 렌더링된 가상 아바타와 정렬하는 T자세 캘리브레이션 단계를 사용한다.
• 신체 트래커 위치를 적합된 평면에 기반한 공간 클러스터링을 통해 자동으로 트래커 역할(루트, 발)을 할당한다.
• 캘리브레이션 시점에 각 트래커와 해당 아바타 관절(루트, 발, 머리, 뒷부분, 손) 간의 정확한 3차원 위치 및 자세 오프셋을 계산한다.
• 손가락 관절과 컨트롤러 캡슐 간의 거리를 최소화하기 위해 경사 하강법을 적용하여 자연스러운 손 위치를 구현한다.
• 컨트롤러 기하학을 모델링하기 위해 부호 거리 함수(SDF)를 사용하고, 수치적 기울기 업데이트를 통해 손가락 관절 위치를 최적화한다.
• 계산된 오프셋을 저장하고, 이동 역기하학(IK) 파이프라인에 적용하여 높은 정확도로 아바타 애니메이션을 구동한다.

실험 결과

연구 질문

• RQ1 간단하고 자동화된 캘리브레이션 절차가 고정 오프셋 가정 대비 아바타 이동 정확도를 크게 향상시킬 수 있는가?
• RQ2 사용자별 오프셋을 계산함으로써 VR 내 몰입감(소개된 SoE)에 측정 가능한 향상이 이루어지는가?
• RQ3 투과형 카메라 오버레이를 통한 시각 피드백은 사용자들이 아바타 정확도와 몰입감을 어떻게 인식하는가?
• RQ4 시스템이 컨트롤러 위의 손 위치를 얼마나 향상시켜 시각-촉각 일치를 개선하는가?
• RQ5 시스템이 복잡한 통합 없이 다양한 VR 애플리케이션에서 즉시 사용 가능한 솔루션으로 구현될 수 있는가?

주요 결과

• 사용자들은 정확한 오프셋을 사용할 경우 고정 오프셋 대비 통계적으로 유의미하게 높은 몰입감(SoE)을 경험했다(p < .001, Cohen’s d = 0.60).
• 정확한 오프셋은 가상 아바타(VA) 및 겹쳐보기 아바타(OA) 조건 모두에서 몰입감을 유의미하게 높였다(p < .001, d = 1.00 및 d = 1.03 각각).
• 겹쳐보기 아바타를 볼 경우 고정 오프셋 아바타의 몰입감 감소가 더 두드러졌으며, 이는 더 큰 시각-운동 불일치를 시사한다.
• 정확한 오프셋을 사용할 경우 가상 아바타 전용 조건에서 몰입감 중앙값은 6(IQR = 1)이었으며, 이는 사용자 간 몰입감에 대한 높은 일치도를 나타낸다.
• 자기의 통제감(SoA)과 소유감(SoO)의 중앙값은 모두 6(IQR = 1)였으며, 이는 사용자가 아바타를 제어하고 소유감을 느끼는 데 높은 자신감을 가짐을 의미한다.
• SDF 기반 최적화를 통해 컨트롤러 위에 자연스러운 손 자세를 성공적으로 계산하여 시각-촉각 일치를 향상시켰다.