[論文レビュー] HoloLens 2 Sensor Streaming

Juan C. Dibene, Enrique Dunn|arXiv (Cornell University)|Nov 4, 2022

Augmented Reality Applications被引用数 8

ひとこと要約

本論文では、HoloLens 2のセンサデータをリアルタイムでTCPベースでストリーミングするシステムを提案する。外部システムへのRGB、グレースケール、深度、IMU、音声、目の動き、頭部、ハンドトラッキングデータの低遅延・フルフレームレート転送を可能にする。HoloLens 2のネイティブ動画エンコードと、クロスプラットフォーム対応のPythonクライントのC++ UWPサーバーを活用することで、1080p動画の遅延が約270 msに抑えられ、Open3D や MMDetection といったサードパーティライブラリとの統合により、リアルタイムの3次元再構築とセグメンテーションが可能となる。

ABSTRACT

We present a HoloLens 2 server application for streaming device data via TCP in real time. The server can stream data from the four grayscale cameras, depth sensor, IMU, front RGB camera, microphone, head tracking, eye tracking, and hand tracking. Each sent data frame has a timestamp and, optionally, the instantaneous pose of the device in 3D space. The server allows downloading device calibration data, such as camera intrinsics, and can be integrated into Unity projects as a plugin, with support for basic upstream capabilities. To achieve real time video streaming at full frame rate, we leverage the video encoding capabilities of the HoloLens 2. Finally, we present a Python library for receiving and decoding the data, which includes utilities that facilitate passing the data to other libraries. The source code, Python demos, and precompiled binaries are available at https://github.com/jdibenes/hl2ss.

研究の動機と目的

• 外部システムでのHoloLens 2センサデータのリアルタイム・オンライン実験を可能にし、より強力な計算能力とライブラリサポートを活用する。
• Windows Device Portal や Research Mode API といった既存ツールの制限を克服する。これらはリアルタイムストリーミングや完全なセンサアクセスを提供しない。
• グレースケールカメラ、深度、IMU、および高度なトラッキングデータ（目、頭部、ハンド）を含む、HoloLens 2のすべてのセンサの低遅延・フルフレームレートストリーミングを提供する。
• Pythonライブラリを介したクロスプラットフォームのデータ受信と処理をサポートし、デコード、歪み補正、整合、保存のユーティリティを提供する。
• Open3D や MMDetection といったサードパーティライブラリとの統合を容易にし、リアルタイムの3次元再構築とパンオプティックセグメンテーションを実現する。

提案手法

• HoloLens 2にC++ UWPサーバーを実装し、各データタイプごとに専用ポートでTCP経由でセンサストリームを公開する。
• HoloLens 2のネイティブ動画エンコード（H.264/HEVC）とMicrosoft Media Foundation SDKを活用し、帯域幅を削減しながらリアルタイムパフォーマンスを維持する。
• 深度データを、損失なしPNG形式で符号化された16ビット深度画像とアクティブな明るさ画像を交互に配置してストリーミングし、シグマチャンネルを除くことで圧縮効率を向上させる。
• Windows Socketsを用いて、すべてのストリームに100ナノ秒単位の整合したタイムスタンプを付与し、信頼性の高い低遅延TCP送信を実現する。
• Windows、Linux、macOSをサポートするPythonクライントライブラリを開発し、ストリームのデコード、セマフォを用いたデータ同期管理、歪み補正、整合、ファイルI/Oのユーティリティを提供する。
• OpenCVを用いた画像の歪み補正と、PyAVを用いたMP4エンコードを統合し、Open3D や MMDetection といったツールを活用したリアルタイム処理パイプラインを実現する。

実験結果

リサーチクエスチョン

• RQ1 HoloLens 2のすべてのセンサデータ（従来アクセスが困難だったグレースケールカメラや深度など）を、リアルタイムで低遅延で外部システムに公開するTCPストリーミングシステムを構築可能か？
• RQ2 HoloLens 2のネイティブエンコードとTCP伝送を用いた場合、1080p 30 FPSのフルフレームレート動画ストリーミングの実現可能なエンドツーエンド遅延はどの程度か？
• RQ3 複数の異種センサ（動画、深度、IMU、トラッキング）からのデータを、クロスプラットフォームクライントを用いてリアルタイムで同期・処理できるか？
• RQ4 本システムは、Open3D や MMDetection といったサードパーティライブラリとのリアルタイム統合をどの程度可能にするか？
• RQ5 すべてのHoloLens 2センサデータを同時にフルフレームレートでストリーミングするためのネットワーク帯域幅要件はどの程度か？

主な発見

• 本システムは、4台のグレースケールカメラ、深度、IMU、RGB動画、マイク、トラッキングデータを含む、HoloLens 2のすべてのセンサデータをフルフレームレートで低遅延でストリーミング可能である。
• 1080p 30 FPSの動画ストリーミングにおけるエンドツーエンド遅延は、テスト環境で約270 msであった。これは実用的な低遅延性能を示している。
• すべてのストリームの合計ネットワーク帯域幅は平均19 Mbit/sであり、個々のストリームは磁気計（12 Kbit/s）から深度（6.5 Mbit/s）まで変動する。
• Pythonクライントライブラリは複数のストリームからのデータを正常にデコード・同期し、整合されたRGBDデータからOpen3Dを用いたリアルタイム3次元再構築を可能にした。
• 本システムは、MMDetectionを用いてRM VLC画像のリアルタイムパンオプティックセグメンテーションを実現し、その結果を深度データのセグメンテーションに活用することで、エンドツーエンドのパイプラインの有効性を示した。
• NumPy配列と歪み補正、整合、ファイルI/Oのユーティリティ関数を介した外部ツールとのシームレスな統合が可能であり、再現可能で拡張可能な研究ワークフローの実現を支援する。