[论文解读] HoloLens 2 Research Mode as a Tool for Computer Vision Research

Dorin Ungureanu, Federica Bogo+10 more|arXiv (Cornell University)|Aug 25, 2020

Augmented Reality Applications参考文献 2被引用 115

一句话总结

该论文介绍 HoloLens 2 Research Mode，一种在设备端访问原始传感器流的 API 和工具，以促进计算机视觉与机器人研究，附示例和开源资源。

ABSTRACT

Mixed reality headsets, such as the Microsoft HoloLens 2, are powerful sensing devices with integrated compute capabilities, which makes it an ideal platform for computer vision research. In this technical report, we present HoloLens 2 Research Mode, an API and a set of tools enabling access to the raw sensor streams. We provide an overview of the API and explain how it can be used to build mixed reality applications based on processing sensor data. We also show how to combine the Research Mode sensor data with the built-in eye and hand tracking capabilities provided by HoloLens 2. By releasing the Research Mode API and a set of open-source tools, we aim to foster further research in the fields of computer vision as well as robotics and encourage contributions from the research community.

研究动机与目标

• 降低混合现实环境下计算机视觉研究的门槛，通过在 HoloLens 2 上提供原始传感器访问。
• 引入跨平台 API 与工具链，以在设备上获取和处理传感器数据。
• 展示与眼动追踪和手部追踪的集成，以实现更丰富的研究工作流。
• 提供开源示例和文档，促进社区贡献。

提出的方法

• 描述 HoloLens 2 硬件及其输入流（VLC 摄像头、深度、AHAT/Long Throw、IR、IMU）。
• 介绍 Research Mode API，含一个主传感器循环和用于检索帧和元数据的每传感器接口。
• 使用 Perception API 解释传感器坐标系以及在设备、世界和摄像机坐标之间映射的方法。
• 展示来自 HoloLens2ForCV 仓库的示例应用，进行可视化、记录和在设备上使用 OpenCV 进行处理。
• 展示 Research Mode 如何实现 CV/机器人实验，如使用记录的流进行 TSDF 集成和 SLAM。

实验结果

研究问题

• RQ1 研究人员如何在设备上访问并同步 HoloLens 2 的原始传感器流，以进行计算机视觉实验？
• RQ2 与第一代版本相比，HoloLens 2 Research Mode 的主要创新点是什么？
• RQ3 如何将 Research Mode 数据与眼动追踪和手部追踪集成到研究工作流中？
• RQ4 哪些示例工作流和工具最能展示在 HoloLens 2 上的设备端 CV/机器人研究？
• RQ5 研究人员是否能使用提供的工具复现如 TSDF 集成和 SLAM 等 CV/机器人实验？

主要发现

• HoloLens 2 Research Mode 提供 API 以访问 VLC、深度、AHAT、IR 和 IMU 流及帧元数据。
• 该 API 支持按传感器的流和坐标变换，以定位相对于设备和世界的传感器。
• 示例应用展示实时可视化、数据记录以及与头部、手部和眼动追踪的同步。
• 仓库提供了使用记录流和近似 OpenCV 处理的 TSDF 体素整合与 SLAM 的示例。
• 发布的工具和文档促进社区对计算机视觉与机器人研究的贡献。