[논문 리뷰] PhyShare: Sharing Physical Interaction in Virtual Reality

Zhenyi He, Fengyuan Zhu외 1명|arXiv (Cornell University)|2017. 08. 10.

Interactive and Immersive Displays참고 문헌 21인용 수 9

한 줄 요약

PhyShare는 가상현실에서 물리적 상호작용을 시뮬레이션하기 위해 바퀴를 가진 로봇을 사용하는 로봇 퍼피틱 인터페이스를 소개한다. 이는 원격 협업에서 직접 촉각 피드백과 보이지 않는 움직임을 모두 가능하게 하여 공유된 촉각 피드백을 제공한다. 시스템은 가상 객체와 물리적 프록시 간의 동적 매핑을 지원하며, 사용자 연구 결과에서 물리적 컨트롤러 사용에 대한 높은 선호도와 공유된 공간 상호작용에 대한 강한 인식이 확인되었다.

ABSTRACT

We present PhyShare, a new haptic user interface based on actuated robots. Virtual reality has recently been gaining wide adoption, and an effective haptic feedback in these scenarios can strongly support user's sensory in bridging virtual and physical world. Since participants do not directly observe these robotic proxies, we investigate the multiple mappings between physical robots and virtual proxies that can utilize the resources needed to provide a well rounded VR experience. PhyShare bots can act either as directly touchable objects or invisible carriers of physical objects, depending on different scenarios. They also support distributed collaboration, allowing remotely located VR collaborators to share the same physical feedback.

연구 동기 및 목표

• 가상현실에서 효과적인 촉각 피드백의 부족이 몰입감과 존재감을 저해한다는 문제를 해결하기 위해.
• 가상현실 내에서 물리적 로봇 프록시와 가상 객체 간의 동적이고 융통성 있는 매핑을 가능하게 하기 위해.
• 원격 협업을 위해 직접적인 물리적 조작과 보이지 않는 로봇 운동을 모두 지원하기 위해.
• 보이지 않는 경로 계획을 통해 사용자 인식과 물리적 로봇 이동을 분리함으로써 하드웨어 복잡성을 줄이기 위해.
• 공유된 가상현실 상호작용에서 사용자의 인지, 선호도, 신뢰성 평가를 위해.

제안 방법

• PhyShare는 가상 객체의 물리적 프록시로 기능하는 액추에이터를 장착한 바퀴를 가진 로봇(예: m3pi, iRobot)을 사용한다.
• 시스템은 Holojam 다중 사용자 VR 프레임워크와 OptiTrack 동작 추적 기술을 통합하여 실시간 공간 인식을 지원한다.
• 로봇은 만져질 때는 시각적 촉각 프록시로 작동하고, 시야에서 벗어날 땐 보이지 않는 운반 수단으로 기능하여 최적화된 경로 계획이 가능하다.
• 동적 매핑을 통해 하나의 로봇이 시간이 지남에 따라 여러 가상 객체를 대체할 수 있어 하드웨어 요구량을 줄일 수 있다.
• 원격 사용자는 가상 객체의 움직임과 일치하는 보이지 않는 로봇 운동을 통해 동기화된 촉각 피드백을 경험한다.
• 제스처 기반 제어를 지원하여 사용자가 직접 만지지 않고도 물체를 제어할 수 있는 텔레키네타이즈 유사 상호작용이 가능하다.

실험 결과

연구 질문

• RQ1 가상 프록시와 물리적 로봇 간의 동적 매핑이 가상현실에서의 공유된 물리적 상호작용에 대한 사용자 인식에 어떤 영향을 미치는가?
• RQ2 협업형 가상현실 작업에서 사용자가 순수 가상 제스처보다 물리적 컨트롤러를 얼마나 선호하는가?
• RQ3 보이지 않는 로봇 운동이 분산된 가상현실 협업 환경에서 신뢰성 있고 직관적인 촉각 피드백을 제공할 수 있는가?
• RQ4 시스템은 원격 협업자들의 행동을 공유된 가상 공간에서 어떻게 사용자 인지에 반영하는가?
• RQ5 공유된 가상현실 환경에서 제스처 기반 제어와 물리적 조작 간의 학습 곡선과 사용성은 어떠한가?

주요 결과

• 참가자 75%가 시스템이 충분히 빠르다고 느꼈으며, 이는 낮은 지연과 반응성 있는 피드백을 의미한다.
• 93.8%가 시스템을 쉽게 학습할 수 있었으며, 중앙값 학습 점수는 5점 만점에 4.47이었다.
• 87.5%가 같은 공유 테이블에서 놀고 있다는 것을 인지했으며, 이는 강한 몰입감과 공간 인지 능력을 시사한다.
• 틱택토 작업에서 62.5%의 참가자가 순수 가상 제스처보다 물리적 컨트롤러를 선호했다.
• 멀리 떨어진 대상에 대해서는 89.6%가 제스처를 사용했고, 가까운 대상에 대해서는 68.8%가 물리적 상호작용을 선택하여 상황 인지 기반 선호도가 확인되었다.
• 16명의 참가자 중 14명이 상호작용을 즐겼으며, 중앙값 만족도 점수는 5점 만점에 4.27로 높은 참여도와 체감된 즐거움을 나타낸다.