[논문 리뷰] HoloLens 2 Research Mode as a Tool for Computer Vision Research

Dorin Ungureanu, Federica Bogo외 10명|arXiv (Cornell University)|2020. 08. 25.

Augmented Reality Applications참고 문헌 2인용 수 115

한 줄 요약

본 논문은 HoloLens 2 Research Mode를 제시합니다. 이는 로컬 디바이스에서 원시 센서 스트림에 접근하기 위한 API와 도구로, 컴퓨터 비전 및 로봈틱스 연구를 촉진하며 예제와 오픈 소스 리소스를 제공합니다.

ABSTRACT

Mixed reality headsets, such as the Microsoft HoloLens 2, are powerful sensing devices with integrated compute capabilities, which makes it an ideal platform for computer vision research. In this technical report, we present HoloLens 2 Research Mode, an API and a set of tools enabling access to the raw sensor streams. We provide an overview of the API and explain how it can be used to build mixed reality applications based on processing sensor data. We also show how to combine the Research Mode sensor data with the built-in eye and hand tracking capabilities provided by HoloLens 2. By releasing the Research Mode API and a set of open-source tools, we aim to foster further research in the fields of computer vision as well as robotics and encourage contributions from the research community.

연구 동기 및 목표

• HoloLens 2에서 원시 센서 접근을 제공함으로써 혼합 현실에서 컴퓨터 비전 연구의 진입 장벽을 낮춘다.
• 온디바이스에서 센서 데이터를 취득하고 처리하기 위한 크로스플랫폼 API 및 도구 체인을 도입한다.
• 눈 추적 및 손 추적과의 통합을 시연하여 더 풍부한 연구 워크플로를 가능하게 한다.
• 커뮤니티 기여를 가속화하기 위한 오픈 소스 샘플과 문서를 제공한다.

제안 방법

• HoloLens 2 하드웨어와 그 입력 스트림(VLC 카메라, 깊이, AHAT/Long Throw, IR, IMU)을 설명한다.
• 주 센서 루프와 각 센서 인터페이스를 가진 Research Mode API를 도입하여 프레이름과 메타데이터를 가져온다.
• Perception API를 사용하여 디바이스, 월드, 카메라 좌표 간 매핑 방법과 센서 좌표 프레임을 설명한다.
• 시각화, 기록, 및 OpenCV를 사용한 온-디바이스 처리를 위한 HoloLens2ForCV 저장소의 샘플 앱을 선보인다.
• 연구 모드가 기록된 스트림을 사용하여 TSDF 통합 및 SLAM과 같은 CV/로봇공학 실험을 어떻게 가능하게 하는지 시연한다.

실험 결과

연구 질문

• RQ1 연구자들은 컴퓨터 비전 실험을 위해 HoloLens 2의 원시 센서 스트림에 온디바이스에서 어떻게 접근하고 동기화할 수 있나요?
• RQ2 1세대 버전에 비해 HoloLens 2 Research Mode의 주요 혁신은 무엇인가요?
• RQ3 Research Mode 데이터는 연구 워크플로에 눈 추적 및 손 추적과 어떻게 통합될 수 있나요?
• RQ4 온-디바이스 CV/로봇공학 연구를 가장 잘 보여주는 샘플 워크플로 및 도구는 무엇인가요?
• RQ5 제공된 도구를 사용하여 TSDF 통합 및 SLAM과 같은 CV/로봇공학 실험을 재현할 수 있나요?

주요 결과

• HoloLens 2 Research Mode는 프레임 메타데이터와 함께 VLC, 깊이, AHAT, IR, 및 IMU 스트림에 접근하는 API를 제공합니다.
• 이 API는 센서별 스트림 및 디바이스 및 월드에 대한 센서 위치를 결정하는 좌표 변환을 지원합니다.
• 샘플 앱은 라이브 시각화, 데이터 녹화 및 머리, 손, 눈 추적과의 동기화를 보여줍니다.
• 저장소는 저장된 스트림과 OpenCV 유사 처리로 TSDF 부피 통합 및 SLAM의 예제를 저장소에서 제공합니다.
• 배포된 도구와 문서는 컴퓨터 비전 및 로봇공학 연구에 대한 커뮤니티 기여를 촉진합니다.