[논문 리뷰] Alignment of the Virtual Scene to the Tracking Space of a Mixed Reality Head-Mounted Display

Ehsan Azimi, Qian Long외 2명|arXiv (Cornell University)|2017. 03. 16.

Augmented Reality ApplicationsComputer Science인용 수 21

한 줄 요약

이 논문은 사용자 정렬을 통해 계산된 3차원 투영 행렬을 사용하여 광학 투과형 HMD의 가상 시나리오 좌표계를 트래킹 시스템의 좌표 공간과 보정하는 블랙박스 보정 방법을 제안한다. 이 방법은 평균 재투영 오차가 최대 4 mm에 이르며, 기존의 20회 정렬이 필요한 다중점 보정 방식에 비해 단 4회 정렬로도 수행 가능한 빠른 다중점 보정을 도입하여 혼합현실 응용 분야에서 사용성과 정확도를 크게 향상시킨다.

ABSTRACT

With the mounting global interest for optical see-through head-mounted displays (OST-HMDs) across medical, industrial and entertainment settings, many systems with different capabilities are rapidly entering the market. Despite such variety, they all require display calibration to create a proper mixed reality environment. With the aid of tracking systems, it is possible to register rendered graphics with tracked objects in the real world. We propose a calibration procedure to properly align the coordinate system of a 3D virtual scene that the user sees with that of the tracker. Our method takes a blackbox approach towards the HMD calibration, where the tracker's data is its input and the 3D coordinates of a virtual object in the observer's eye is the output; the objective is thus to find the 3D projection that aligns the virtual content with its real counterpart. In addition, a faster and more intuitive version of this calibration is introduced in which the user simultaneously aligns multiple points of a single virtual 3D object with its real counterpart; this reduces the number of required repetitions in the alignment from 20 to only 4, which leads to a much easier calibration task for the user. In this paper, both internal (HMD camera) and external tracking systems are studied. We perform experiments with Microsoft HoloLens, taking advantage of its self localization and spatial mapping capabilities to eliminate the requirement for line of sight from the HMD to the object or external tracker. The experimental results indicate an accuracy of up to 4 mm in the average reprojection error based on two separate evaluation methods. We further perform experiments with the internal tracking on the Epson Moverio BT-300 to demonstrate that the method can provide similar results with other HMDs.

연구 동기 및 목표

• 광학 투과형 HMD에서 가상 시나리오를 실제 트래킹 좌표와 일치시키는 데 있어 필수적인 현실감 있는 혼합현실 경험을 위한 핵심 과제를 해결하기 위해.
• HMD의 내부 파rameter(예: 투영 행렬 등)에 의존하지 않는 보정 방법을 개발하여, 트래커 입력과 가상 시나리오 출력을 갖는 블랙박스로 HMD를 간주하기 위해.
• 기존의 단일점 보정 방식에 비해 20회에서 4회로 정량적 정렬 횟수를 줄임으로써 사용자 피로도를 감소시키고 보정 효율성을 향상시키기 위해.
• HoloLens의 자가위치 결정 및 공간 매핑 기능을 활용하여 외부 트래커의 시야 확보 조건 없이도 보정을 수행할 수 있도록 하기 위해.
• 외부 측정 시스템과 새로운 더블큐브매칭 방법을 사용하여 HMD 보정의 객관적이고 신뢰할 수 있는 평가 프레임워크를 제공하기 위해.

제안 방법

• 이 방법은 HMD를 블랙박스로 간주한다: 입력은 외부 또는 내부 트래킹 시스템에서 온 트래커 데이터이며, 출력은 사용자가 인식하는 가상 객체의 3차원 좌표이다.
• 트래커의 좌표계를 가상 시나리오의 좌표계로 매핑하기 위해 3차원에서 3차원으로의 투영 행렬을 계산하여 실제와 가상 콘텐츠 간의 오차를 보정한다.
• 핵심 기법은 반복적으로 가장 가까운 점(Iterative Closest Point, ICP) 또는 유사 최적화 기법을 사용하여 다중 정렬 단계 동안 실제 점과 가상 점 간의 재투영 오차를 최소화하는 데 사용된다.
• 새로운 다중점 보정 변형 기법은 단일 가상 객체 상의 다수의 3차원 점을 동시에 정렬함으로써 기존의 20회 정렬이 필요한 절차를 4회로 줄였다.
• 이 방법은 HoloLens의 내부 트래킹 및 공간 매핑 기능을 활용하여 외부 트래커의 시야 확보 조건 없이도 검증되었으며, 외부 트래킹 장치가 필요로 하지 않는다.
• 외부 측정 시스템(예: 모션 캡처)을 사용하여 더블큐브매칭 평가 방법을 통해 보정 정확도를 객관적으로 평가하였다.

실험 결과

연구 질문

• RQ1 장치 고유의 내부 변환에 영향을 받지 않고도 광학 투과형 HMD의 가상 시나리오와 트래킹 공간 간에 일관되고 정확한 정렬을 달성할 수 있는 방법은 무엇인가?
• RQ2 블랙박스 보정 접근법을 통해 HMD 내부 파rameter(예: 투영 행렬 등)에 대한 접근이 필요 없어지는가?
• RQ3 기존의 단일점 방법에 비해 다중점 정렬 기법이 사용자 노력과 보정 속도에 얼마나 기여하는가?
• RQ4 특히 동적인 환경나 가림이 있는 환경에서 재투영 오차와 사용자 인식 정확도 측면에서 제안된 방법의 성능은 어떠한가?
• RQ5 현대형 HMD(예: HoloLens)의 자가위치 결정 및 공간 매핑 기능을 활용하여 보정 시 시야 확보 조건을 제거할 수 있는가?

주요 결과

• 제안된 보정 방법은 평균 재투영 오차가 최대 4 mm에 이르며, 실제 물체와 가상 콘텐츠를 정확하게 일치시키는 데 있어 높은 정확도를 입증하였다.
• 다중점 보정 변형 기법은 정렬 단계 수를 기존의 20회에서 단 4회로 줄여 사용성 향상과 사용자 피로 감소에 기여하였다.
• HoloLens의 자가위치 결정 및 공간 매핑 기능을 활용하여 외부 트래커와의 시야 확보 조건 없이도 보정이 가능함을 성공적으로 입증하였다.
• 더블큐브매칭 평가 방법은 보정 정확도를 객관적이고 독립적으로 평가할 수 있게 하여 HMD 평가의 주관성을 감소시켰다.
• HoloLens와 Epson Moverio BT-300을 포함한 다양한 HMD 기기에서 유사한 성능을 기록하여, 다양한 플랫폼 간 일반화 가능성(일반성)을 확인하였다.
• 결과적으로 평균 이격 오차가 거의 4 mm임을 확인하여, 본 연구에서 사용된 두 평가 방법 간 일관성이 있음을 확인하였다.