[논문 리뷰] Merging real and virtual worlds: An analysis of the state of the art and practical evaluation of Microsoft Hololens

Adrien Coppens|arXiv (Cornell University)|2017. 06. 25.

Augmented Reality ApplicationsComputer Science참고 문헌 8인용 수 21

한 줄 요약

이 석사 학위 논문은 증강현실(AR), 가상현실(VR), 혼합현실(MR) 분야의 최신 기술 동향을 분석하며, 주요 AR 플랫폼으로서 마이크로소프트 휴먼레인즈의 실용적 평가를 수행한다. 운동 추적, SLAM 및 특징 검출과 같은 컴퓨터 비전 기법, AR/VR에서의 인간-컴퓨터 상호작용을 평가한 후, 디스플레이, 센서, 상호작용 및 사회적 수용성 측면에서의 한계를 제기하며, 유비쿼터스하고 적응형 MR 경험과 원활한 AR/VR 전환을 위한 향후 연구 방향을 제안한다.

ABSTRACT

Achieving a symbiotic blending between reality and virtuality is a dream that has been lying in the minds of many people for a long time. Advances in various domains constantly bring us closer to making that dream come true. Augmented reality as well as virtual reality are in fact trending terms and are expected to further progress in the years to come. This master's thesis aims to explore these areas and starts by defining necessary terms such as augmented reality (AR) or virtual reality (VR). Usual taxonomies to classify and compare the corresponding experiences are then discussed. In order to enable those applications, many technical challenges need to be tackled, such as accurate motion tracking with 6 degrees of freedom (positional and rotational), that is necessary for compelling experiences and to prevent user sickness. Additionally, augmented reality experiences typically rely on image processing to position the superimposed content. To do so, "paper" markers or features extracted from the environment are often employed. Both sets of techniques are explored and common solutions and algorithms are presented. After investigating those technical aspects, I carry out an objective comparison of the existing state-of-the-art and state-of-the-practice in those domains, and I discuss present and potential applications in these areas. As a practical validation, I present the results of an application that I have developed using Microsoft HoloLens, one of the more advanced affordable technologies for augmented reality that is available today. Based on the experience and lessons learned during this development, I discuss the limitations of current technologies and present some avenues of future research.

연구 동기 및 목표

• 증강현실(AR), 가상현실(VR), 혼합현실(MR) 기술 분야의 현재 최신 기술 동향을 분석하기 위해.
• 6자유도(6-DoF) 추적 기능을 중심으로 기술적 능력과 한계에 중점을 두어 마이크로소프트 휴먼레인즈를 실용적 AR 응용 플랫폼으로 평가하기 위해.
• 공간 인식 AR 경험을 가능하게 하는 핵심 기반 기술, 예를 들어 6자유도 운동 추적, 영상 처리, SLAM 등을 조사하기 위해.
• AR/VR 도입에 있어 상호작용, 화면 품질, 센서 성능, 사회적 수용성 등의 주요 과제를 특정하기 위해.
• 실재성과 가상성의 원활하고 유비쿼터스한 융합을 달성하기 위한 향후 연구 방향을 제안하기 위해.

제안 방법

• 의료, 교육, 산업 등 다양한 분야에서의 기존 응용 사례를 포함해 AR, VR, MR의 정의, 분류 체계 및 기존 응용 사례에 대한 체계적 검토를 수행하였다.
• 기계적, 자기적, 관성적, 광학적 추적 기술을 포함한 기술적 기초를 평가하였으며, 특히 6자유도(6-DoF) 추적에 중점을 두었다.
• 환경 이해를 위한 비전 기반 추적 기법, 예를 들어 템플릿 마커(예: ARToolkit), 자연적 특징 검출(예: 해리스, FAST), SLAM 등을 분석하였다.
• 실세계 성능과 사용자 상호작용을 테스트하기 위해 마이크로소프트 휴먼레인즈를 활용한 실용적 AR 애플리케이션인 HoloEscape를 개발하였다.
• 직접 경쟁 제품과 다른 MR 기기들과의 비교를 통해 하드웨어, 공간 인식 능력, 사용성 등을 평가하였다.
• 실제 개발 및 사용자 테스트를 통해 디스플레이 품질, 센서 정확도, 상호작용 방식 등에 대한 한계를 특정하였다.

실험 결과

연구 질문

• RQ1 현재의 AR 및 VR 시스템은 6자유도(6-DoF) 추적을 포함해 공간 인식과 정확한 운동 추적을 어떻게 달성하는가?
• RQ2 실세계 AR 응용에서 SLAM, 템플릿 마커, 자연적 특징 검출과 같은 비전 기반 추적 방법의 강점과 약점은 무엇인가?
• RQ3 마이크로소프트 휴먼레인즈는 실용적 AR 애플리케이션 개발에서 어떻게 성능을 보이며, 주요 기술적 및 사용성 한계는 무엇인가?
• RQ4 사회적 수용성 및 하드웨어 제약 등으로 인해 AR/VR 웨어러블 기기의 광범위한 보급에 있어 주요 장애 요소는 무엇인가?
• RQ5 원활하고 유비쿼터스한 혼합현실 경험을 달성하기 위해 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• 휴먼레인즈는 통합된 공간 매핑과 6-DoF 추적 기능을 통해 인상적인 공간 인식 AR 경험을 가능하게 하지만, 시야각과 해상도 측면에서 한계를 지닌다.
• SLAM 및 자연적 특징을 활용한 비전 기반 추적은 마커가 없는 AR를 가능하게 하지만, 조도, 질감, 운동 흐림에 민감하다.
• 템플릿 마커는 신뢰할 수 있는 추적 성능을 제공하지만, 사전 정의된 마커가 필요하여 실세계 구현에서의 유연성을 제한한다.
• 현재의 AR/VR 상호작용 방법은 시선, 음성, 제스처에 국한되어 있으며, 복잡한 의도 인식이나 힘의 피드백에 대한 강력한 지원이 부족하다.
• 사생활 우려와 현재 웨어러블 기기의 외관이 매력적이지 않다는 점으로 인해 사회적 수용성이 주요 장애물로 남아 있다.
• 향후 AR/VR 시스템은 적응형이고 다중 모odal 상호작용을 갖추며, AR와 VR 모드 간의 원활한 전환을 통해 유비쿼터스한 사용을 위한 발전이 필요하다.