[논문 리뷰] Berkeley Open Extended Reality Recordings 2023 (BOXRR-23): 4.7 Million Motion Capture Recordings from 105,852 Extended Reality Device Users

Vivek Nair, Wenbo Guo외 4명|arXiv (Cornell University)|2023. 09. 30.

Video Analysis and SummarizationComputer Science참고 문헌 35인용 수 3

한 줄 요약

BOXRR-23은 Beat Saber와 Tilt Brush의 공개 플레이 기록에서 105,852명의 XR 사용자로부터 수집한 470만 건이 넘는 동작 캡처 데이터셋을 제공한다. 이 데이터셋은 XR 개인정보 보호, 생체정보학 및 인터페이스 연구를 위한 대규모 연구를 가능하게 하며, 새로운 효율적인 XROR 파일 포맷과 오픈 표준 준수를 통해 XR 동작 데이터가 지문과 유사한 생체정보 식별자로 활용될 수 있음을 입증한다.

ABSTRACT

Extended reality (XR) devices such as the Meta Quest and Apple Vision Pro have seen a recent surge in attention, with motion tracking "telemetry" data lying at the core of nearly all XR and metaverse experiences. Researchers are just beginning to understand the implications of this data for security, privacy, usability, and more, but currently lack large-scale human motion datasets to study. The BOXRR-23 dataset contains 4,717,215 motion capture recordings, voluntarily submitted by 105,852 XR device users from over 50 countries. BOXRR-23 is over 200 times larger than the largest existing motion capture research dataset and uses a new, highly efficient purpose-built XR Open Recording (XROR) file format.

연구 동기 및 목표

• 확장현실(XR) 연구를 위한 대규모이고 생태학적으로 타당한 인간 동작 데이터셋의 부족을 해결하기 위해.
• 실세계 사용자 동작 데이터를 활용하여 XR 개인정보 보호, 보안 및 생체정보 식별에 대한 대규모 연구를 가능하게 하기 위해.
• XR 동작 캡처 데이터를 저장하기 위한 새로운 효율적이고 표준화된 파일 포맷(XROR)을 개발하기 위해.
• 대규모 사용자 설문 조사(N=1,006)를 통해 포괄적인 문서화 및 인구통계적 통찰을 제공하기 위해.
• 공개된, 공개 가능한 데이터셋을 통해 그래픽스, HCI, 머신러닝 및 개인정보 보호 시스템 분야의 다양한 연구를 지원하기 위해.

제안 방법

• Beat Saber와 Tilt Brush와 같은 인기 있는 VR 애플리케이션 사용자들로부터 470만 건이 넘는 동작 캡처 기록을 수집하였다.
• 사용자들이 자발적으로 게임 플레이 테레메트리를 공유한 세 개의 공개 플랫폼(ScoreSaber, BeatLeader, PolyGone)에서 데이터를 집계하였다.
• 원래 포맷 대비 정밀도 손실 없이 약 30% 더 공간 효율적인 XROR 파일 포맷을 개발하였다.
• 메타데이터를 부여하고, Datasheets for Datasets 및 Dataset Nutrition Labels와 같은 오픈 표준과 일치하는 문서화를 정렬하였다.
• 데이터셋 사용자들을 대상으로 대규모 설문 조사(N=1,006)를 실시하여 인구통계적 및 행동 패턴을 분석하였다.
• 모든 데이터는 공개된 자료에서 수집되었으며, 연구 외의 목적을 위해 이미 사용자가 자발적으로 공유한 바가 있어 추가적 위험을 최소화하고 윤리적 준수를 확보하였다.

실험 결과

연구 질문

• RQ1 XR 동작 데이터는 지문과 유사한 신뢰성 있는 생체정보 식별자로 활용될 수 있는가?
• RQ2 실세계 XR 동작 데이터의 다양성과 생태학적 타당성은 실험실 기반 동작 캡처 데이터셋과 비교해 어떻게 다른가?
• RQ3 XR 동작 캡처 데이터셋에 기여하는 XR 사용자의 인구통계적 및 행동적 특성은 무엇인가?
• RQ4 새로운 목적에 맞게 설계된 파일 포맷(XROR)이 XR 동작 데이터의 저장 효율성과 상호운용성에 얼마나 기여하는가?
• RQ5 대규모 공개 XR 동작 데이터셋은 개인정보 보호, 보안 및 인간-컴퓨터 상호작용 분야의 연구를 얼마나 선진화시킬 수 있는가?

주요 결과

• BOXRR-23는 50개 이상의 국가에서 활동한 105,852명의 고유한 XR 사용자로부터 4,717,215건의 동작 캡처 기록을 포함하고 있으며, 다음으로 큰 공개 동작 캡처 데이터셋보다 200배 이상 크다.
• 이 데이터셋은 XR 동작 데이터가 지문과 동등한 생체정보 신호를 제공함을 입증하며, USENIX Security ’23 연구에서 검증된 바와 같이 높은 정확도로 신원 식별이 가능하다.
• XROR 파일 포맷은 원본 포맷 대비 약 30% 더 작은 저장 용량을 제공하면서도 정밀도를 유지하고, 더 넓은 상호운용성을 지원한다.
• 데이터셋은 상호보완적인 운동 패tern을 포함한다: Beat Saber의 빠른 비틀림 운동과 Tilt Brush의 정교한 운동 조작 패턴이 결합되어 운동 분석에 다양성을 더한다.
• 대규모 사용자 설문 조사(N=1,006)는 글로벌적으로 다양성이 높은 사용자 기반을 확인하였으며, 이는 데이터셋의 생태학적 타당성과 광범위한 대표성을 뒷받침한다.
• 모든 데이터는 공개된 자료에서 수집되었으며, 사용자가 이미 연구 외의 목적을 위해 자발적으로 공유한 바가 있어 추가 위험은 최소한이다.