[論文レビュー] Alignment of the Virtual Scene to the Tracking Space of a Mixed Reality Head-Mounted Display

Ehsan Azimi, Qian Long+2 more|arXiv (Cornell University)|Mar 16, 2017

Augmented Reality ApplicationsComputer Science被引用数 21

ひとこと要約

本論文は、ユーザーの位置合わせにより計算された3次元投影行列を用いて、光学的透過型HMDの仮想シーン座標系とトラッキングシステムの座標空間を一致させるブラックボックスキャリブレーション手法を提案する。この手法は最大4 mmの平均再投影誤差を達成し、20回の位置合わせを要する従来の方法に比べ、4回の位置合わせで済むより高速なマルチポイントキャリブレーションを導入することで、ミックスドリアリティ応用における使いやすさと正確性を著しく向上させる。

ABSTRACT

With the mounting global interest for optical see-through head-mounted displays (OST-HMDs) across medical, industrial and entertainment settings, many systems with different capabilities are rapidly entering the market. Despite such variety, they all require display calibration to create a proper mixed reality environment. With the aid of tracking systems, it is possible to register rendered graphics with tracked objects in the real world. We propose a calibration procedure to properly align the coordinate system of a 3D virtual scene that the user sees with that of the tracker. Our method takes a blackbox approach towards the HMD calibration, where the tracker's data is its input and the 3D coordinates of a virtual object in the observer's eye is the output; the objective is thus to find the 3D projection that aligns the virtual content with its real counterpart. In addition, a faster and more intuitive version of this calibration is introduced in which the user simultaneously aligns multiple points of a single virtual 3D object with its real counterpart; this reduces the number of required repetitions in the alignment from 20 to only 4, which leads to a much easier calibration task for the user. In this paper, both internal (HMD camera) and external tracking systems are studied. We perform experiments with Microsoft HoloLens, taking advantage of its self localization and spatial mapping capabilities to eliminate the requirement for line of sight from the HMD to the object or external tracker. The experimental results indicate an accuracy of up to 4 mm in the average reprojection error based on two separate evaluation methods. We further perform experiments with the internal tracking on the Epson Moverio BT-300 to demonstrate that the method can provide similar results with other HMDs.

研究の動機と目的

• 光学的透過型HMDにおける仮想シーンと現実世界のトラッキング座標を一致させるという、リアリスティックなミックスドリアリティ体験に不可欠な重要な課題に対処すること。
• HMD固有の内部パラメータに依存しないキャリブレーション手法を開発し、トラッカー入力と仮想シーン出力を持つブラックボックスとしてHMDを扱うこと。
• 1回の位置合わせを20回から4回に削減するマルチポイント位置合わせ技術を導入することで、ユーザーの疲労を軽減し、キャリブレーションの効率を向上させること。
• HoloLensの自己局所化および空間マッピング機能を活用することで、外部トラッカーとの視線制約を排除したキャリブレーションを可能にすること。
• 外部測定システムと新規のダブルキューブマッチ法を用いた、HMDキャリブレーションのための堅牢で客観的な評価フレームワークを提供すること。

提案手法

• 本手法はHMDをブラックボックスとして扱う：入力は外部または内部トラッキングシステムからのトラッキングデータであり、出力はユーザーが認識する仮想オブジェクトの3次元座標である。
• トラッカーの座標系を仮想シーンの座標系にマップするための3次元から3次元への投影行列を計算し、現実と仮想のコンテンツのずれを是正する。
• コア技術として、複数回の位置合わせステップにおいて、実際の点と仮想の点の再投影誤差を最小化するための反復最密法（ICP）または類似の最適化手法を用いる。
• 新規のマルチポイントキャリブレーションバリエーションにより、1つの仮想オブジェクト上に複数の3次元点を同時に位置合わせ可能となり、必要な繰り返し回数を20回から4回に削減する。
• 本手法は、HoloLensの内部トラッキングと空間マッピング機能を用いて検証されており、外部トラッカーとの視線を必要としない。
• 外部測定システム（例：モーショントラッキング）を用いて、ダブルキューブマッチ評価法によりキャリブレーションの正確性を客観的に評価する。

実験結果

リサーチクエスチョン

• RQ1 HMD固有の内部変換に起因する影響を受けるが、仮想シーンとトラッキング空間の間で一貫性があり正確な一致を達成する方法は何か？
• RQ2 ブラックボックスキャリブレーションアプローチにより、投影行列などのHMD内部パラメータへのアクセスを不要にすることができるか？
• RQ3 従来の単一ポイント法と比較して、マルチポイント位置合わせ技術はユーザーの負担をどの程度軽減し、キャリブレーション速度を向上させるか？
• RQ4 特に動的または遮蔽環境下において、提案手法の再投影誤差とユーザーの認識正確性はどの程度の性能を示すか？
• RQ5 HoloLensのような現代のHMDが備える自己局所化および空間マッピング機能を活用することで、キャリブレーションにおける視線制約を排除できるか？

主な発見

• 提案されたキャリブレーション手法は、仮想コンテンツと現実世界の物体を一致させる際、平均再投影誤差が最大4 mmに達し、高い正確性を示した。
• マルチポイントキャリブレーションバリエーションにより、必要な位置合わせステップ数を20回からわずか4回に削減し、使いやすさを著しく向上させるとともに、ユーザーの疲労を軽減した。
• HoloLensの自己局所化および空間マッピング機能を活用することで、HMDと外部トラッカー間の視線制約を完全に排除した。
• ダブルキューブマッチ評価法により、客観的で独立したキャリブレーション正確性の評価が可能となり、HMD評価における主観性を低減した。
• 本手法はHoloLensおよびEpson Moverio BT-300を含む異なるHMDでも同等の性能を達成しており、複数のプラットフォームに一般化可能であることが確認された。
• 結果から、平均変位誤差はほぼ4 mmであることが示され、本研究で用いられた2つの評価手法間の整合性が裏付けられた。