[论文解读] Berkeley Open Extended Reality Recordings 2023 (BOXRR-23): 4.7 Million Motion Capture Recordings from 105,852 Extended Reality Device Users

Vivek Nair, Wenbo Guo+4 more|arXiv (Cornell University)|Sep 30, 2023

Video Analysis and SummarizationComputer Science参考文献 35被引用 3

一句话总结

BOXRR-23 提供了一个包含 470 万条记录的运动捕捉数据集，来自 105,852 名 XR 用户，数据源自《节奏地牢》和《倾斜画笔》的公开游戏玩法。该数据集支持大规模的 XR 隐私、生物特征识别和人机交互研究，采用新型高效的 XROR 文件格式并符合开放标准，证明 XR 运动数据可作为与指纹相当的生物特征标识符。

ABSTRACT

Extended reality (XR) devices such as the Meta Quest and Apple Vision Pro have seen a recent surge in attention, with motion tracking "telemetry" data lying at the core of nearly all XR and metaverse experiences. Researchers are just beginning to understand the implications of this data for security, privacy, usability, and more, but currently lack large-scale human motion datasets to study. The BOXRR-23 dataset contains 4,717,215 motion capture recordings, voluntarily submitted by 105,852 XR device users from over 50 countries. BOXRR-23 is over 200 times larger than the largest existing motion capture research dataset and uses a new, highly efficient purpose-built XR Open Recording (XROR) file format.

研究动机与目标

• 解决扩展现实（XR）研究中缺乏大规模、生态有效的人体运动数据集的问题。
• 利用真实世界用户运动数据，支持大规模的 XR 隐私、安全和生物特征识别研究。
• 开发一种新型、高效且标准化的文件格式（XROR），用于存储 XR 运动捕捉数据。
• 通过大规模用户调查（N=1,006）提供全面的文档说明和人口统计洞察。
• 通过公开、可公开获取的数据集，支持图形学、人机交互、机器学习和隐私保护系统等多领域研究。

提出的方法

• 从《节奏地牢》和《倾斜画笔》两款流行的 VR 应用中收集了 470 万条运动捕捉记录。
• 从三个公开平台——ScoreSaber、BeatLeader 和 PolyGone——聚合数据，用户自愿分享了游戏过程中的遥测数据。
• 开发了 XROR 文件格式，相比原始格式在不损失精度的前提下节省约 30% 的存储空间。
• 通过补充元数据并使文档与开放标准对齐，包括《数据集数据表》和《数据集营养标签》。
• 对数据集用户开展大规模调查（N=1,006），以描述其人口统计和行为模式。
• 通过仅使用公开可获取的数据并最小化额外风险，确保伦理合规性，因为数据已由用户为非研究目的自愿分享。

实验结果

研究问题

• RQ1 XR 运动数据能否作为与指纹相当的可靠生物特征标识符？
• RQ2 真实世界 XR 运动数据的多样性与生态有效性，与基于实验室的运动捕捉数据集相比如何？
• RQ3 贡献 XR 运动捕捉数据集的 XR 用户的人口统计和行为特征是什么？
• RQ4 新型专用文件格式（XROR）在多大程度上能提升 XR 运动数据的存储效率和互操作性？
• RQ5 大规模公开的 XR 运动数据集在推动隐私、安全和人机交互研究方面能发挥什么作用？

主要发现

• BOXRR-23 包含来自全球 50 多个国家的 105,852 名唯一 XR 用户的 4,717,215 条运动捕捉记录，其规模超过第二大公开运动捕捉数据集的 200 倍以上。
• 该数据集表明，XR 运动数据可提供与指纹相当的生物特征信号，能够以高精度实现身份识别，该结论已在 USENIX Security ’23 研究中得到验证。
• XROR 文件格式相比原始格式将存储大小减少约 30%，同时保持完整精度，并支持更广泛的互操作性。
• 数据集包含高度互补的运动模式：来自《节奏地牢》的快速爆发性动作和来自《倾斜画笔》的精细运动控制，增强了运动分析的多样性。
• 用户调查（N=1,006）揭示了一个全球多样化的用户群体，支持该数据集的生态有效性和广泛代表性。
• 所有数据均来自公开共享来源，且该数据集带来的额外风险极低，因为用户已自愿为非研究目的分享其运动遥测数据。