[논문 리뷰] Comprehensive Tracker Based Display Calibration for Holographic Optical See-Through Head-Mounted Display

Long Qian, Ehsan Azimi외 2명|arXiv (Cornell University)|2017. 03. 16.

Augmented Reality Applications참고 문헌 21인용 수 23

한 줄 요약

이 논문은 외부 트래커 데이터와 渲染 좌표를 등각, 애핀, 투시 투영 변환을 사용하여 정렬함으로써 헬멧형 투과형 헤드마운트 디스플레이(OST-HMD)를 위한 새로운 校정 방법을 제안한다. 외부 트래커를 활용한 자기 위치 추정 및 공간 매핑을 통해, 최대 4 mm의 평균 재투영 오차를 달성하며, 이는 디스플레이 기술의 헬로그램적 성질을 명시적으로 고려한 최초의 방법이다.

ABSTRACT

A holographic display system is able to offer an immersive 3D experience with a controllable focus cue that matches the depth information of virtual content. Proper calibration of an OST-HMD must take into account the specific features of that HMD. Existing calibration methods, however, cannot fully capture the optical characteristics of holographic display systems. With the aid of tracking systems, it is possible to register rendered graphics with tracked objects in the real world, providing an augmented reality experience for the users. We propose a new calibration procedure to properly align the coordinate system of rendering with that of the tracker. In this paper, both internal and external tracking systems are studied; three models of the mapping from tracking space to display space are presented: isometric, affine and perspective transformation. Experimental results demonstrate the validity of our method. Additionally, in a novel approach, the implementation uses self localization and spatial mapping of the HMD with an external tracker to perform this calibration, eliminating the requirement for line of sight from the HMD to the object or tracker. Microsoft HoloLens is used as the holographic OST-HMD for our experiments. The experimental results indicate an accuracy of up to 4 mm in the average reprojection error for the general perspective case and similarly 4 mm in our objective evaluation. To the best of our knowledge, this is the first OST-HMD calibration method that takes the holographic nature of the display technology into account.

연구 동기 및 목표

• OST-HMD에서 헬로그램 디스플레이 시스템의 고유한 광학적 특성을 고려한 校정 방법의 부족을 해결한다.
• 헬로그램 디스플레이에 내재된 깊이 및 초점 정보를 충분히 반영하지 못하는 기존 校정 기법의 한계를 극복한다.
• HMD와 트래커 간의 직시선이 필요 없이 렌더링된 가상 콘텐츠와 실제 물체 간의 정확한 정렬을 가능하게 한다.
• 다양한 기하학적 매핑(등각, 애핀, 투시)을 지원하는 트래커 기반의 校정 프레임워크를 개발한다.
• 테스트 플랫폼으로 마이크로소프트 헬로렌스를 사용하여 방법의 실현 가능성과 정확도를 입증한다.

제안 방법

• 외부 트래킹 시스템을 활용하여 HMD의 세계 좌표 공간 내 실시간 자세 데이터를 제공한다.
• 직시선이 필요 없이 트래킹 대상 물체와의 직접적인 연결 없이도 HMD의 위치와 자세를 자기 위치 추정 및 공간 매핑을 통해 추정한다.
• 세 가지 기하학적 모델(등각, 애핀, 투시)을 사용하여 트래킹 공간에서 디스플레이 공간으로의 변환을 모델링한다.
• 이 변환을 적용하여 가상 콘텐츠를 장면 내 물리적 물체와 정렬함으로써 정확한 공간 정렬을 확보한다.
• 투영된 가상 점과 실제 위치 간의 재투영 오차를 최소화함으로써 시스템을 校정한다.
• 마이크로소프트 헬로렌스를 사용한 실제 환경 설정에서, 세 가지 변환 모델 간의 결과를 비교하여 방법을 검증한다.

실험 결과

연구 질문

• RQ1 헬로그램적 OST-HMD는 그 고유한 광학적 특성을 고려할 때, 어떻게 가상 콘텐츠를 실제 물체와 정확히 정렬할 수 있는가?
• RQ2 등각, 애핀, 투시 변환 모델 중 어떤 것이 트래킹 공간과 디스플레이 공간 간의 가장 정확한 정렬을 이룰 수 있는가?
• RQ3 HMD와 트래킹 대상 간의 직시선이 필요 없이 校정을 달성할 수 있는가? 이는 실제 구현에서의 유연성을 높일 수 있는가?
• RQ4 교정 과정에서 디스플레이의 헬로그램적 성질을 명시적으로 모델링할 경우, 도달할 수 있는 재투영 오차 수준은 어느 정도인가?
• RQ5 기존의 校정 기법에 비해 이 방법은 헬로그램 디스플레이에 대해 정확도와 내구성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 校정 방법은 일반적인 투시 변환 케이스에서 평균 재투영 오차 4 mm를 달성하여 높은 정확도를 입증하였다.
• 자기 위치 추정 및 공간 매핑을 활용함으로써 HMD와 트래킹 대상 간의 직시선이 필요 없음을 성공적으로 제거하였다.
• 등각, 애핀, 투시 변환 모델 모두가 검증되었으며, 특히 투시 모델이 최적의 정렬 성능을 보였다.
• 이 방법은 OST-HMD 校정에서 디스플레이 기술의 헬로그램적 성질을 명시적으로 고려한 최초의 방법으로, 현재 접근 방식의 핵심적 격차를 메웠다.
• 객관적 평가를 통해 테스트 조건 전반에서 일관된 평균 재투영 오차 4 mm를 확인하였으며, 이는 접근 방식의 내구성을 검증하였다.