[論文レビュー] Comprehensive Tracker Based Display Calibration for Holographic Optical See-Through Head-Mounted Display

Long Qian, Ehsan Azimi+2 more|arXiv (Cornell University)|Mar 16, 2017

Augmented Reality Applications参考文献 21被引用数 23

ひとこと要約

本稿では、外部トラッカーのデータとレンダリング座標を等長変換、アフィン変換、透視変換を用いて一致させる、ホログラフィック光学透過型ヘッドマウントディスプレイ（OST-HMD）のための新規キャリブレーション手法を提案する。外部トラッカーを用いた自己局在化と空間マッピングにより、最大で4 mmの平均再投影誤差を達成し、本手法は表示技術のホログラフィック特性を明示的に考慮する最初の手法である。

ABSTRACT

A holographic display system is able to offer an immersive 3D experience with a controllable focus cue that matches the depth information of virtual content. Proper calibration of an OST-HMD must take into account the specific features of that HMD. Existing calibration methods, however, cannot fully capture the optical characteristics of holographic display systems. With the aid of tracking systems, it is possible to register rendered graphics with tracked objects in the real world, providing an augmented reality experience for the users. We propose a new calibration procedure to properly align the coordinate system of rendering with that of the tracker. In this paper, both internal and external tracking systems are studied; three models of the mapping from tracking space to display space are presented: isometric, affine and perspective transformation. Experimental results demonstrate the validity of our method. Additionally, in a novel approach, the implementation uses self localization and spatial mapping of the HMD with an external tracker to perform this calibration, eliminating the requirement for line of sight from the HMD to the object or tracker. Microsoft HoloLens is used as the holographic OST-HMD for our experiments. The experimental results indicate an accuracy of up to 4 mm in the average reprojection error for the general perspective case and similarly 4 mm in our objective evaluation. To the best of our knowledge, this is the first OST-HMD calibration method that takes the holographic nature of the display technology into account.

研究の動機と目的

• OST-HMDにおけるホログラフィック表示システムの特異な光学的特性を考慮したキャリブレーション手法の不足を補う。
• ホログラフィックディスプレイに内在する奥行きと焦点の手がかりを完全に捉えきれていない既存のキャリブレーション技術の限界を克服する。
• HMDとトラッカーの視線が直接通じていなくても、レンダリングされた仮想コンテンツと現実の物体との正確な一致を実現する。
• 複数の幾何的マッピング（等長、アフィン、透視）をサポートするトラッカー基盤のキャリブレーションフレームワークを開発する。
• テストプラットフォームとしてMicrosoft HoloLensを用いて、本手法の実現可能性と正確性を実証する。

提案手法

• 外部トラッキングシステムを用いて、HMDの世界座標空間におけるリアルタイムの姿勢データを提供する。
• 視線が直接通じない状況下でも、自己局在化と空間マッピングを用いてHMDの位置と姿勢を推定する。
• トラッキング座標系からディスプレイ座標系への変換を、3つの幾何的モデル（等長、アフィン、透視）を用いてモデル化する。
• これらの変換を適用して、シーン内の物理的物体と仮想コンテンツを正確に一致させ、空間的登録を確保する。
• 仮想点の投影位置とその対応する現実世界の位置との間の再投影誤差を最小化することで、システムをキャリブレートする。
• Microsoft HoloLensを用いた実世界の設定で、3つの変換モデルの結果を比較して本手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 ホログラフィックOST-HMDは、その特異な光学的特性を考慮して、どのようにして仮想コンテンツと現実の物体を正確に一致させるキャリブレーションが可能か？
• RQ2 等長、アフィン、透視のいずれの幾何的変換モデルが、トラッキング座標系とディスプレイ座標系間の登録において最も正確か？
• RQ3 HMDとトラッキング対象との間の視線が不要である場合、キャリブレーションは達成可能か？これにより、実世界での展開においてより高い柔軟性が得られるか？
• RQ4 キャリブレーションプロセスにおいて表示技術のホログラフィック特性を明示的にモデル化した場合、どの程度の再投影誤差を達成できるか？
• RQ5 ホログラフィックディスプレイにおける正確性と耐障害性という観点から、本手法は既存のキャリブレーション技術と比べてどのように差をつけるか？

主な発見

• 提案手法は、一般的な透視変換の場合に平均4 mmの再投影誤差を達成し、高い正確性を示した。
• 自己局在化と空間マッピングを用いることで、HMDとトラッキング対象の間の視線が不要であることを明確にした。
• 等長、アフィン、透視の3つの変換モデルがすべて検証され、透視モデルが最良の一致性能を示した。
• 本手法は、OST-HMDキャリブレーションにおいて表示技術のホログラフィック特性を明示的に考慮する最初の手法であり、現在のアプローチにおける重要なギャップを埋めた。
• 客観的評価により、テスト条件のすべてで一貫した平均4 mmの再投影誤差が確認され、本手法の耐障害性が裏付けられた。