[논문 리뷰] MetaSpace II: Object and full-body tracking for interaction and navigation in social VR

Misha Sra, Chris Schmandt|arXiv (Cornell University)|2015. 12. 09.

Virtual Reality Applications and Impacts참고 문헌 52인용 수 7

한 줄 요약

MetaSpace II는 RGB-D 센서(Kinect)와 헤드셋(HMD, Oculus Rift DK2)를 사용하여 실세계와 가상세계 간 1:1 공간 매핑을 구현하는 사회적 VR 시스템으로, 신체 전반과 물체 추적을 통해 다중 사용자 상호작용을 가능하게 한다. 물리적 물체 조작을 가상 행동과 연동하고 피assive 히트릭스를 활용함으로써, 공유된 가상 공간에서 몰입감, 이동의 현실감, 사회적 상호작용의 몰입감을 향상시킨다.

ABSTRACT

MetaSpace II (MS2) is a social Virtual Reality (VR) system where multiple users can not only see and hear but also interact with each other, grasp and manipulate objects, walk around in space, and get tactile feedback. MS2 allows walking in physical space by tracking each user's skeleton in real-time and allows users to feel by employing passive haptics i.e., when users touch or manipulate an object in the virtual world, they simultaneously also touch or manipulate a corresponding object in the physical world. To enable these elements in VR, MS2 creates a correspondence in spatial layout and object placement by building the virtual world on top of a 3D scan of the real world. Through the association between the real and virtual world, users are able to walk freely while wearing a head-mounted device, avoid obstacles like walls and furniture, and interact with people and objects. Most current virtual reality (VR) environments are designed for a single user experience where interactions with virtual objects are mediated by hand-held input devices or hand gestures. Additionally, users are only shown a representation of their hands in VR floating in front of the camera as seen from a first person perspective. We believe, representing each user as a full-body avatar that is controlled by natural movements of the person in the real world (see Figure 1d), can greatly enhance believability and a user's sense immersion in VR.

연구 동기 및 목표

• 사용자가 물리적 공간에서 자유롭게 걷는 동안 공간 인식 능력을 유지함으로써 현재의 VR 시스템에서의 신체 전반 몰입감과 자연스러운 이동의 부족을 해결하고자 한다.
• 피assive 히트릭스와 실시간 물체 추적을 통해 신체적 상호작용과 가상 상호작용을 동기화함으로써 사용자의 몰입감과 몰입감을 향상시키고자 한다.
• 가상 아바타가 실제 움직임을 반영하고 상호작용이 물리적 물체 조작을 통해 매개되는 다중 사용자 사회적 VR 경험을 지원하고자 한다.
• 자연스러운 걷기와 신체 인식 아바타를 통해 체감적 자극을 제공함으로써 VR에서의 메스꺼움과 감각 갈등을 완화하고자 한다.
• 실세계 3D 스캔을 가상 환경에 매핑하여 실시간으로 탐색하고 상호작용할 수 있는 확장 가능하고 저비용의 사회적 VR 프레임워크를 구축하고자 한다.

제안 방법

• 시스템은 실세계 물리 환경의 3D 스캔을 구축하고, 이를 가상 세계 위에 겹쳐 실세계와 가상 세계의 레이아웃 간 공간 일치를 보장한다.
• RGB-D 카메라(Kinect)는 실시간으로 사용자의 뼈대와 물체 위치를 추적하여 전신 아바타 제어와 물체 상호작용을 가능하게 한다.
• 실세계의 물리적 물체는 가상의 대응체로 매핑되며, 실제 물체를 잡는 행동은 해당 가상 상호작용과 히트릭스 피드백을 유도한다.
• Oculus Rift DK2는 머리 움직임을 추적하고 1인칭 시각 출력을 제공하며, 클라이언트-서버 아키텍처는 다중 사용자 경험을 동기화한다.
• 가상 환경은 현실과 다른 질감을 가지며, 동일한 물리적 공간을 사용하더라도 별개의 세계에 있는 듯한 느낌을 강화한다.
• 사용자는 걷기, 손을 뻗기, 물체 조작과 같은 자연스러운 방식으로 상호작용하며, 이는 가상 세계에서 신체적 피드백을 제공하기 위해 반영된다.

실험 결과

연구 질문

• RQ1 전신 추적과 물리적 물체 상호작용은 사회적 VR에서 몰입감과 몰입감을 어떻게 향상시키는가?
• RQ2 실제 물체 조작에서 유도되는 피assive 히트릭스는 VR에서 사용자 참여도와 작업 성과에 얼마나 기여하는가?
• RQ3 실세계 환경을 가상 세계에 1:1로 매핑함으로써 HMD 기반 VR에서 안전한 자유로운 걷기와 충돌 위험 감소가 가능한가?
• RQ4 저비용 RGB-D 센서를 통한 실시간 뼈대 및 물체 추적은 다중 사용자 사회적 상호작용을 어떻게 지원하는가?
• RQ5 실제 움직임으로 제어되는 전신 아바타를 통한 몸통합( embodiment)은 사회적 몰입감과 자연스러운 상호작용을 향상시키는 데 어떤 역할을 하는가?

주요 결과

• 사용자는 물리적 공간에서 자연스럽게 걷고 있으며, 벽이나 가구와 같은 실제 장애물을 피하는 데 성공한다.
• 자연스러운 이동과 전신 아바타 표현을 통해 일관된 체감적 자극과 전정 자극을 제공함으로써 몰입감이 향상되고 메스꺼움 감소 효과를 경험한다.
• 실제 물체 조작에서 발생하는 피assive 히트릭스는 가상 상호작용의 신뢰성과 직관적인 물체 조작을 크게 향상시킨다.
• 실세계 3D 스캔을 가상 환경에 1:1로 매핑함으로써 원활한 탐색이 가능하며, 공유된 가상 공간에서 다중 사용자 공동 위치 설정을 지원한다.
• 시스템은 동기화된 아바타 움직임, 실시간 물체 상호작용, 공유된 환경 인식을 통해 다중 사용자 사회적 VR을 성공적으로 지원한다.
• 100명 이상의 사용자가 시스템을 테스트하여 실용적 응용 분야인 교육, 치료, 사회적 상호작용 분야에서의 타당성과 잠재력을 입증했다.