[論文レビュー] Merging real and virtual worlds: An analysis of the state of the art and practical evaluation of Microsoft Hololens

Adrien Coppens|arXiv (Cornell University)|Jun 25, 2017

Augmented Reality ApplicationsComputer Science参考文献 8被引用数 21

ひとこと要約

この修士論文は、拡張現実（AR）、仮想現実（VR）、ミックスドリアリティ（MR）分野における最先端技術を分析し、Microsoft HoloLensを代表するARプラットフォームとしての実用的評価を実施している。モーショントラッキング、SLAM や特徴検出といったコンピュータビジョン技術、AR/VRにおける人間-コンピュータインタラクションを評価し、ディスプレイ、センサー、インタラクション、社会的受容性の制限を結論としつつ、シームレスなAR/VR切り替えを実現する次世代の適応的で普遍的なMR体験を今後の研究分野として提言している。

ABSTRACT

Achieving a symbiotic blending between reality and virtuality is a dream that has been lying in the minds of many people for a long time. Advances in various domains constantly bring us closer to making that dream come true. Augmented reality as well as virtual reality are in fact trending terms and are expected to further progress in the years to come. This master's thesis aims to explore these areas and starts by defining necessary terms such as augmented reality (AR) or virtual reality (VR). Usual taxonomies to classify and compare the corresponding experiences are then discussed. In order to enable those applications, many technical challenges need to be tackled, such as accurate motion tracking with 6 degrees of freedom (positional and rotational), that is necessary for compelling experiences and to prevent user sickness. Additionally, augmented reality experiences typically rely on image processing to position the superimposed content. To do so, "paper" markers or features extracted from the environment are often employed. Both sets of techniques are explored and common solutions and algorithms are presented. After investigating those technical aspects, I carry out an objective comparison of the existing state-of-the-art and state-of-the-practice in those domains, and I discuss present and potential applications in these areas. As a practical validation, I present the results of an application that I have developed using Microsoft HoloLens, one of the more advanced affordable technologies for augmented reality that is available today. Based on the experience and lessons learned during this development, I discuss the limitations of current technologies and present some avenues of future research.

研究の動機と目的

• 拡張現実（AR）、仮想現実（VR）、ミックスドリアリティ（MR）技術における現在の最先端技術を分析すること。
• Microsoft HoloLensをARアプリケーションの実用的プラットフォームとして評価し、その技術的特長と制限を焦点にすること。
• 6自由度（6-DoF）モーショントラッキング、画像処理、SLAM といった空間認識AR体験を可能にする基盤技術を調査すること。
• AR/VRの普及に向けた主な課題、すなわちインタラクション、ディスプレイ品質、センサー性能、社会的受容性を特定すること。
• 現実と仮想のシームレスかつ普遍的な融合を実現するための今後の研究方向性を提言すること。

提案手法

• 医療、教育、産業分野における応用を含め、AR、VR、MRの定義、分類体系、既存応用を体系的にレビューした。
• 機械的、磁気的、慣性的、光学的モーショントラッキングの技術的基盤を評価し、特に6自由度（6-DoF）トラッキングに重点を置いた。
• 環境理解のためのビジョンベーストラッキング技術として、テンプレートマーカー（例：ARToolkit）、自然特徴検出（例：Harris、FAST）、SLAM を分析した。
• 実世界での性能とユーザーインタラクションをテストするために、Microsoft HoloLensを用いた実用的ARアプリケーション「HoloEscape」を構築した。
• HoloLensを直接の競合他社製品や他のMRデバイスと比較し、ハードウェア、空間認識、使いやすさを評価した。
• 実際の開発とユーザーテストを通じて制限を同定し、ディスプレイ品質、センサー精度、インタラクションモダリティに焦点を当てた。

実験結果

リサーチクエスチョン

• RQ1 現在のARおよびVRシステムは、特に6-DoFトラッキングを用いて、空間認識と正確なモーショントラッキングをどのように達成しているか。
• RQ2 SLAM、テンプレートマーカー、自然特徴検出といったビジョンベーストラッキング手法が、実世界のARアプリケーションにおいて有する長所と短所は何か。
• RQ3 Microsoft HoloLensは実用的ARアプリケーション開発においてどのように機能しているか。主な技術的および使いやすさの制限は何か。
• RQ4 AR/VRウェアラブル機器の広範な採用を阻害する主な障壁、特に社会的受容性とハードウェア制約は何か。
• RQ5 シームレスかつ普遍的なミックスドリアリティ体験を実現するにあたり、最も有望な今後の研究分野は何か。

主な発見

• HoloLensは、統合された空間マッピングと6-DoFトラッキングにより、魅力的な空間認識AR体験を可能にするが、視野と解像度に制限がある。
• SLAM や自然特徴を用いたビジョンベーストラッキングは、マーカーレスARを実現可能にするが、照明、テクスチャ、運動ぼやけに敏感である。
• テンプレートマーカーは信頼性の高いトラッキングを提供するが、事前に定義されたマーカーが必要なため、実世界への展開に柔軟性に欠ける。
• 現在のAR/VRインタラクション手法は、視線、音声、ジェスチャーに限定されており、複雑な意図認識やハプティクスフィードバックの強力なサポートがない。
• プライバシー懸念と現在のウェアラブルデバイスの魅力に欠ける外観が原因で、社会的受容性が大きな障壁となっている。
• 今後のAR/VRシステムは、適応的でマルチモーダルなインタラクションと、ARとVRモード間のシームレスな切り替えを実現する方向へ進化する必要がある。