[論文レビュー] HoloLens 2 Research Mode as a Tool for Computer Vision Research

Dorin Ungureanu, Federica Bogo+10 more|arXiv (Cornell University)|Aug 25, 2020

Augmented Reality Applications参考文献 2被引用数 115

ひとこと要約

本論文は HoloLens 2 Research Mode を提示する。デバイス上で生のセンサーストリームへアクセスする API とツールを提供し、コンピュータビジョンとロボティクス研究を促進する。例とオープンソースリソースを含む。

ABSTRACT

Mixed reality headsets, such as the Microsoft HoloLens 2, are powerful sensing devices with integrated compute capabilities, which makes it an ideal platform for computer vision research. In this technical report, we present HoloLens 2 Research Mode, an API and a set of tools enabling access to the raw sensor streams. We provide an overview of the API and explain how it can be used to build mixed reality applications based on processing sensor data. We also show how to combine the Research Mode sensor data with the built-in eye and hand tracking capabilities provided by HoloLens 2. By releasing the Research Mode API and a set of open-source tools, we aim to foster further research in the fields of computer vision as well as robotics and encourage contributions from the research community.

研究の動機と目的

• HoloLens 2 上で生のセンサーアクセスを提供することで、混合現実におけるコンピュータビジョン研究の敷居を下げる。
• デバイス上でセンサーデータを取得・処理するためのクロスプラットフォーム API とツールチェーンを導入する。
• よりリッチな研究ワークフローを可能にするため、視線追跡と手追跡との統合を実証する。
• コミュニティの貢献を加速するオープンソースのサンプルとドキュメントを提供する。

提案手法

• HoloLens 2 のハードウェアと入力ストリーム（VLC カメラ、深度、AHAT/Long Throw、IR、IMU）を説明する。
• 主センサーループと各センサーのインタフェースを備えた Research Mode API を紹介し、フレームとメタデータを取得する。
• センサ座標系と、Perception API を用いたデバイス座標系、ワールド座標系、カメラ座標系の間のマッピング手法を説明する。
• OpenCV を用いた視覚化、記録、デバイス上での処理のための HoloLens2ForCV リポジトリのサンプルアプリを紹介する。
• Research Mode が、記録ストリームを用いた TSDF 統合や SLAM などの CV/ロボティクス実験を可能にする様子を示す。

実験結果

リサーチクエスチョン

• RQ1 研究者はどのように HoloLens 2 の生センサーストリームにデバイス上でアクセスし、同期して、コンピュータビジョン実験を行えるのか？
• RQ2 初代と比較して、HoloLens 2 Research Mode の主な新機能は何か？
• RQ3 Research Mode のデータを視線追跡と手の追跡と統合して、研究ワークフローをどう構築できるか？
• RQ4 HoloLens 2 でのデバイス上の CV/ロボティクス研究を最もよく示すサンプルワークフローとツールは何か？
• RQ5 提供されたツールを使用して、TSDF 統合や SLAM などの CV/ロボティクス実験を研究者は再現できるか？

主な発見

• HoloLens 2 Research Mode は、フレームメタデータ付きで VLC、深度、AHAT、IR、IMU ストリームへアクセスする API を提供します。
• API はセンサーごとのストリームと、デバイスおよびワールドに対するセンサー位置を特定する座標変換をサポートします。
• サンプルアプリは、ライブ視覚化、データ記録、頭部・手・視線追跡との同期を実演します。
• リポジトリは、記録済みストリームと OpenCV 風の処理を用いた TSDF ボリューム統合と SLAM の例を提供します。
• 公開されたツールとドキュメントは、コンピュータビジョンとロボティクスの研究へのコミュニティ貢献を促進します。