[論文レビュー] HoloLens 2 Technical Evaluation as Mixed Reality Guide

Hung-Jui Guo, Balakrishnan Prabhakaran|arXiv (Cornell University)|Jul 19, 2022

Augmented Reality Applications被引用数 11

ひとこと要約

本論文は、センサ、空間アンカー、研究モードの機能を体系的にベンチマークすることで、HoloLens 2 がミックスドリアリティ研究プラットフォームとして果たす役割を評価している。HoloLens 1 と比較して、視野、手の追跡、目線追跡、センサ精度の面で顕著な向上が示され、特に空間アンカーの整合性（誤差 < 2%）と低インertial測定装置（IMU）の誤差（< 5%）において優れた性能を発揮しており、MRアプリケーション開発やセンサベースの研究にとって信頼できるツールであることが明らかになった。

ABSTRACT

Mixed Reality (MR) is an evolving technology lying in the continuum spanned by related technologies such as Virtual Reality (VR) and Augmented Reality (AR), and creates an exciting way of interacting with people and the environment. This technology is fast becoming a tool used by many people, potentially improving living environments and work efficiency. Microsoft HoloLens has played an important role in the progress of MR, from the first generation to the second generation. In this paper, we systematically evaluate the functions of applicable functions in HoloLens 2. These evaluations can serve as a performance benchmark that can help people who need to use this instrument for research or applications in the future. The detailed tests and the performance evaluation of the different functionalities show the usability and possible limitations of each function. We mainly divide the experiment into the existing functions of the HoloLens 1, the new functions of the HoloLens 2, and the use of research mode. This research results will be useful for MR researchers who want to use HoloLens 2 as a research tool to design their own MR applications.

研究の動機と目的

• HoloLens 2 がミックスドリアリティ研究プラットフォームとして有する機能的特徴と限界を評価すること。
• HoloLens 1 と比較して HoloLens 2 のセンサーや機能をベンチマーク化し、性能向上を定量的に測定すること。
• 可視光、赤外線（IR）、深度、IMU の低レベルセンサデータにアクセスするための新しい研究モードの使いやすさと正確さを評価すること。
• Azure Spatial Anchors が複数デバイス間および複数セッションにわたって空間的一致性を保つ信頼性を評価すること。
• HoloLens 2 で MR アプリケーションやセンサベースのシステムを開発する研究者に向けたパフォーマンスベンチマークを提供すること。

提案手法

• HoloLens 2 に対して、カスタムアプリケーションを用いて制御された実験を実施し、センサ性能と機能性をテストした。
• IMU センサの正確さを誤差パcent で測定した：$\text{IMUError}(\%) = \frac{1}{N}\sum_{i=1}^{N}\frac{|T_N - P_N|}{T_N}$、予測された移動量と実際の移動量を比較した。
• 幾何的ベンチマークを用いて空間アンカーの整合性を評価した：$\text{ErrorPercentage}(\%) = \left(\frac{|L_c^s/L_c^l - L_d^s/L_d^l|}{L_c^s/L_c^l} + \frac{|W_c^s/W_c^l - W_d^s/W_d^l|}{W_c^s/W_c^l}\right) \times 100$。
• 6つの異なる環境で空間アンカーの作成と再取得をテストし、整合性と誤差率を評価した。
• 複数方向への歩行および傾きのテストを実施し、動的運動下での加速度計性能を評価した。
• X、Y、Z 軸に沿った回転テストを実施し、制御された運動下でのジャイロスコープの正確さと誤差を測定した。

実験結果

リサーチクエスチョン

• RQ1 HoloLens 2 のセンサ性能（加速度計、ジャイロスコープ、深度、IR）は、現実世界の動き追跡において HoloLens 1 と比べてどの程度異なるか？
• RQ2 Azure Spatial Anchors の正確さと整合性は、異なる環境やデバイスセッション間でどの程度保たれるか？
• RQ3 HoloLens 2 の研究モードは、可視光、IR、深度、IMU のような低レベルセンサデータにアクセスするための研究用途において、どの程度信頼できるか？
• RQ4 動的移動下における HoloLens 2 の IMU ベースの動き追跡における主な制限要因と誤差源は何か？
• RQ5 HoloLens 2 は、空間アンカーを介して、どの程度の水準でクロスプラットフォームの空間的協働を可能としているか？

主な発見

• Azure Spatial Anchors は6つの異なる環境で誤差パーセンテージが2%未満に保たれ、複数デバイス間の空間的協働に非常に信頼性が高いことが示された。
• 歩行距離における IMU 加速度計の誤差は、長時間にわたり5%以上に上昇する傾向にあり、センサ融合の必要性が浮き彫りになった。
• 体を前後に90度傾ける動作や横方向に傾ける動作における IMU 加速度計の誤差は5%未満に保たれ、角度変化検出において優れた性能を示した。
• ジャイロスコープの回転誤差は一貫して低く、運用上の誤差範囲内に収まっており、回転追跡の正確さが非常に高いことが確認された。
• HoloLens 2 は HoloLens 1 と比較して視野とディスプレイ解像度が顕著に向上しており、ユーザーの没入感とインタラクションの忠実度が向上した。
• 研究モードにより、C++ API を介して可視光、IR、深度、IMU の複数のセンサーに安定してアクセス可能となり、高度なセンサベースのアプリケーション開発を支援した。