[論文レビュー] Berkeley Open Extended Reality Recordings 2023 (BOXRR-23): 4.7 Million Motion Capture Recordings from 105,852 Extended Reality Device Users

Vivek Nair, Wenbo Guo+4 more|arXiv (Cornell University)|Sep 30, 2023

Video Analysis and SummarizationComputer Science参考文献 35被引用数 3

ひとこと要約

BOXRR-23 は、Beat Saber および Tilt Brush の公開プレイから得られた 105,852 名の XR ユーザーから収集された 470 万件のモーショングラフデータセットを提供する。これは XR プrivacy、バイオメトリクス、HCI 分野における大規模な研究を可能にし、新しい効率的な XROR ファイル形式とオープンスタンダード準拠を備え、XR 動作データが指紋と同等のバイオメトリクス的識別子として機能できることを示している。

ABSTRACT

Extended reality (XR) devices such as the Meta Quest and Apple Vision Pro have seen a recent surge in attention, with motion tracking "telemetry" data lying at the core of nearly all XR and metaverse experiences. Researchers are just beginning to understand the implications of this data for security, privacy, usability, and more, but currently lack large-scale human motion datasets to study. The BOXRR-23 dataset contains 4,717,215 motion capture recordings, voluntarily submitted by 105,852 XR device users from over 50 countries. BOXRR-23 is over 200 times larger than the largest existing motion capture research dataset and uses a new, highly efficient purpose-built XR Open Recording (XROR) file format.

研究の動機と目的

• 拡張現実（XR）研究のための、大規模かつ生態的妥当性のある人間の動作データセットの不足に対処すること。
• 実世界のユーザ動作データを用いて、XR プライバシー、セキュリティ、バイオメトリクス識別における大規模な研究を可能にすること。
• XR モーショングラフデータを格納するための新しい効率的で標準化されたファイル形式（XROR）の開発。
• 大規模ユーザーサーベイ（N=1,006）を通じた包括的なドキュメンテーションおよび人口統計的洞察の提供。
• オープンで公開可能なデータセットを通じて、グラフィックス、HCI、機械学習、プライバシー保護システム分野における多様な研究を支援すること。

提案手法

• Beat Saber および Tilt Brush という2つの人気のあるVRアプリケーションのユーザーより、470万件のモーショングラフ記録を収集した。
• ScoreSaber、BeatLeader、PolyGone の3つの公開プラットフォームから、ユーザが自発的に共有したプレイテレメトリを統合した。
• 元の形式と比較して精度を損なわずに 30% のストレージ効率を向上させる XROR ファイル形式を開発した。
• メタデータの付加と、Datasheets for Datasets や Dataset Nutrition Labels などのオープンスタンダードに準拠したドキュメンテーションを整えた。
• データセット利用者の大規模サーベイ（N=1,006）を実施し、人口統計的および行動的パターンを同定した。
• 倫理的適合性を確保するため、公開済みデータのみを用い、追加リスクを最小限に抑え、データはすでに非研究目的でユーザが共有済みであった。

実験結果

リサーチクエスチョン

• RQ1 XR 動作データは、指紋と同等の信頼性を持つバイオメトリクス的識別子として機能できるか？
• RQ2 実世界の XR 動作データの多様性と生態的妥当性は、ラボベースのモーショングラフデータセットと比べてどのように異なるか？
• RQ3 モーショングラフデータセットに貢献している XR ユーザーの人口統計的および行動的特徴は何か？
• RQ4 新たに設計されたファイル形式（XROR）は、XR 動作データのストレージ効率と相互運用性をどの程度向上できるか？
• RQ5 大規模で公開可能な XR 動作データセットは、プライバシー、セキュリティ、および人間-コンピュータインタラクション分野の研究をどの程度前進させられるか？

主な発見

• BOXRR-23 は、50か国以上にまたがる 105,852 名のユニークな XR ユーザーから得た 4,717,215 件のモーショングラフ記録を含み、次に大きい公開モーショングラフデータセットの 200 倍以上も大きい。
• このデータセットは、XR 動作データが指紋と同等のバイオメトリクス信号を提供することを示しており、USENIX Security ’23 の研究で妥当性が裏付けられている。
• XROR ファイル形式は、元の形式と比較して約 30% のストレージサイズを削減しながら、完全な精度を保持し、より広範な相互運用性を実現している。
• データセットには、高速なボールスティック運動（Beat Saber 由来）と繊細な運動制御（Tilt Brush 由来）という、相補的なモーショングラフパターンが含まれており、動作解析の多様性が向上している。
• ユーザーサーベイ（N=1,006）の結果、グローバルに多様なユーザーベースが確認され、データセットの生態的妥当性と広範な代表性が裏付けられた。
• すべてのデータは公開済みソースから収集されており、ユーザがすでに非研究目的で自発的に共有済みであったため、追加リスクは最小限に抑えられている。