[논문 리뷰] Tangible Holograms: Towards Mobile Physical Augmentation of Virtual Objects

Beat Signer, Timothy Joseph Curtin|arXiv (Cornell University)|2017. 03. 24.

Interactive and Immersive Displays참고 문헌 6인용 수 6

한 줄 요약

이 논문은 로봇 암과 구형 컨트롤러를 사용하여 혼합현실에서 허구적 가상 물체에 형태, 질감, 온도와 같은 실물 성질을 물리적으로 보완하는 이동형 웨어러블 시스템을 제안한다. 마이크로소프트 허올렌스를 활용해 공간적으로 锁정된 허구적 물체를 구현하고 신체에 장착된 액추에이터를 통합함으로써, 환경 간에 실시간으로 즼촉 기반 상호작용이 가능한 동적이고 물리적으로 반응하는 가상 물체를 구현할 수 있으며, 혼합현실에서 이동형 실물 상호작용을 위한 새로운 솔루션을 제공한다.

ABSTRACT

The last two decades have seen the emergence and steady development of tangible user interfaces. While most of these interfaces are applied for input - with output still on traditional computer screens - the goal of programmable matter and actuated shape-changing materials is to directly use the physical objects for visual or tangible feedback. Advances in material sciences and flexible display technologies are investigated to enable such reconfigurable physical objects. While existing solutions aim for making physical objects more controllable via the digital world, we propose an approach where holograms (virtual objects) in a mixed reality environment are augmented with physical variables such as shape, texture or temperature. As such, the support for mobility forms an important contribution of the proposed solution since it enables users to freely move within and across environments. Furthermore, our augmented virtual objects can co-exist in a single environment with programmable matter and other actuated shape-changing solutions. The future potential of the proposed approach is illustrated in two usage scenarios and we hope that the presentation of our work in progress on a novel way to realise tangible holograms will foster some lively discussions in the CHI community.

연구 동기 및 목표

• 현재는 시각적으로 존재하지만 촉각적으로는 느껴지지 않는 혼합현실 허구적 물체에 대한 물리적 피드백의 부재를 해결하기 위해.
• 형태, 질감, 온도와 같은 물리적 성질을 부여함으로써 이동형 실시간 상호작용을 가능하게 하기 위해.
• 다양한 물리적 환경에서 협업형 다중 사용자 상호작용을 지원하는 자가 통합형 웨어러블 시스템을 개발하기 위해.
• 이동형 혼합현실 환경에서 추상적 데이터를 물리적 변수를 통해 인지하고 조작할 수 있도록 함으로써 데이터의 실체화 가능성에 새로운 가능성을 탐색하기 위해.

제안 방법

• 시스템은 공간 매핑과 허구적 디스플레이를 위해 마이크로소프트 허올렌스를 사용하여 가상 물체를 물리적 환경에 투영한다.
• 이동형 로봇 암 시스템과 구형 컨트롤러를 사용하여 실시간으로 가상 물체의 형태와 질감을 물리적으로 구현한다.
• 손 추적 및 동작 감지 기반으로 로봇 암을 제어함으로써 사용자 손 움직임과 기초 디지털 모델에 따라 자동으로 위치를 재조정한다.
• 경량 3D 프린팅 프레임과 레고 기반 기어 기어트레인 및 서보 모터를 통합하여 이동성과 물리적 반응성을 확보한다.
• 구형 컨트롤러 내부의 센서와 액추에이터는 경도, 부드러움, 온도와 같은 물리적 변수를 시뮬레이션하여 촉각 피드백을 향상시킨다.
• 공동 사용 가능한 디지털 모델을 통합하여, 여러 사용자가 실시간으로 동기화된 물리적으로 보강된 허구적 물체를 함께 상호작용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 혼합현실에서 허구적 물체를 형태, 질감, 온도와 같은 동적 물리적 성질로 물리적으로 보완하는 방법은 무엇인가?
• RQ2 다양한 환경에서 실시간 촉각 기반 상호작용이 가능한 물리적으로 보강된 가상 물체를 다룰 수 있는 웨어러블 이동형 시스템 아키텍처는 어떻게 설계할 수 있는가?
• RQ3 로봇 액추에이터에서 유도되는 물리적 피드백을 허구적 영상 투영과 어떻게 동기화시켜 시각적 및 촉각적 모odal 간의 인지적 일치를 유지할 수 있는가?
• RQ4 실물 허구적 물체는 혼합현실에서 협업 설계 및 데이터 실체화에 어떻게 기여할 수 있는가?

주요 결과

• 제안된 시스템은 이동형 로봇 암을 통해 허구적 물체에 형태와 질감을 물리적으로 보완함으로써, 가상 물체에 대한 촉각 기반 상호작용을 성공적으로 실현하였다.
• 사용자 손 움직임, 디지털 모델, 구형 컨트롤러의 물리적 위치 간에 실시간 동기화가 가능하여 인지 일관성이 확보되었다.
• 자동차 및 인테리어 디자인 분야의 두 사용 사례를 통해 실물 허구적 물체는 공동 작업이 가능하고 이동형이며 몰입감 있는 설계 워크플로우를 가능하게 하였다.
• 경량 3D 프린팅 구조로 기존의 두꺼운 레고 구성 요소를 대체함으로써 이동성과 사용자 편안함을 향상시킨 이식성 설계가 이루어졌다.
• 원격 협업이 가능하여, 서로 다른 위치에 있는 사용자가 동일한 허구적 모델의 축소형 버전을 실시간으로 동기화된 상태에서 조작할 수 있었다.
• 허올렌스와 신체에 장착된 액추에이터의 통합은 고정형 위치의 형태 변화 인터페이스와는 구별되는 자가 통합형 이동 플랫폼을 제공함으로써 실물 허구화를 위한 새로운 접근을 제시하였다.