[논문 리뷰] Robo-Saber: Generating and Simulating Virtual Reality Players

Nam Hee Kim, Jingjing May Liu외 4명|arXiv (Cornell University)|2026. 02. 20.

Artificial Intelligence in Games인용 수 0

한 줄 요약

tldr: Robo-Saber는 게임 내 상태에서 Beat Saber용 VR 헤드셋 및 컨트롤러 궤적을 생성하는 조건부 모션 생성 시스템으로, BOXRR-23 데이터로 학습되었으며 GPU 기반 Beat Saber 시뮬레이터를 통해 평가되어 인 실리코 플레이테스팅 및 물리 기반 전체 신체 VR 모델링을 가능하게 한다.

ABSTRACT

We present the first motion generation system for playtesting virtual reality (VR) games. Our player model generates VR headset and handheld controller movements from in-game object arrangements, guided by style exemplars and aligned to maximize simulated gameplay score. We train on the large BOXRR-23 dataset and apply our framework on the popular VR game Beat Saber. The resulting model Robo-Saber produces skilled gameplay and captures diverse player behaviors, mirroring the skill levels and movement patterns specified by input style exemplars. Robo-Saber demonstrates promise in synthesizing rich gameplay data for predictive applications and enabling a physics-based whole-body VR playtesting agent.

연구 동기 및 목표

• 게임 상태에 조건부로 3p 관절(헤드셋 및 두 컨트롤러)의 VR 3p 궤적을 생성하는 조건부 모션 생성 모델 개발.
• 기술 수준과 움직임 패턴을 반영하는 스타일 엑스레폼으로 조건화하여 행동 다양성 포착.
• 트래킹 정책과 시뮬레이터와의 통합을 통해 물리 기반의 전체 신체 VR 플레이테스팅을 장기적 시야에서 가능하게 한다.

제안 방법

• 참조 조건화 CCM(Categorical Codebook Matching)을 Transformer 기반의 GS-VAE와 함께 사용하여 3p 궤적에 대한 조건부 분포를 모델링한다.
• 맥락적 예시와 게임 내 상태를 조건 신호로 반영하기 위해 CCM에 스타일 인코더와 게임 인코더를 도입한다.
• z3p와 zGame 사이의 분포 매칭을 MSE 매칭 대신 Jensen-Shannon-divergence 손실로 대체한다.
• zGame에서 여러 개의 후보 3p 궤적을 생성하고, GPU-가속 게임 시뮬레이션(TorchSaber)과 보상 함수로 최선의 궤적을 선택한다.
• BOXRR-23 Beat Saber 데이터셋으로 학습하고 BeatSaver 맵에 맞춰 지도학습된 3p 모션 학습을 정렬한다.
• 물리 기반의 트래킹 정책을 통한 전체 신체 움직임 합성을 시연하고 PSP(Score-Predictive Capabilities)와 데이터 보강을 평가한다.

Figure 2: Comparing Robo-Saber’s performance to that of human players. Robo-Saber trajectories are produced by using $N_{\text{ref}}=5$ segments from elite (top 5%) players. Left: Human and Robo-Saber TS score distributions across all held-out maps are shown as raincloud plots. Right: Robo-Saber’s p

실험 결과

연구 질문

• RQ1 스타일-조건화된 세 점 모션 모델이 게임 내 객체 배치에 조건화될 때 Beat Saber 스타일의 다양한 게임 플레이 궤적을 재현할 수 있는가?
• RQ2 맥락적 예시로 조건화하는 것이 목표 게임 플레이 목표 및 플레이어 스타일에 대한 정렬을 개선하는가?
• RQ3 생성된 궤적이 맞춤형 점수 예측 및 이후 모델을 위한 데이터 보강과 같은 예측 작업을 지원할 수 있는가?
• RQ4 물리 기반의 추적 정책과의 통합이 전체 신체 VR 플레이테스팅의 현실성 및 활용성에 어떤 영향을 미치는가?

주요 결과

• Robo-Saber는 생성된 운동학이 엘리트 인간 선수와 근접하게 경쟁하는 숙련된 Beat Saber 유사 궤적을 생성한다.
• 모델은 인간 참조 선수의 기술 수준과 움직임 패턴에 일치하는 게임 플레이를 시뮬레이션할 수 있다.
• 맞춤형 점수 예측(PSP)은 Robo-Saber 생성 데이터를 사용하여 새로운 맵의 점수를 예측하는 것이 가능하다.
• Robo-Saber로 합성한 데이터의 데이터 보강은 다운스트림 점수 예측 모델의 정확도를 향상시킨다.
• GPU 기반의 Beat Saber 시뮬레이터(TorchSaber)는 실제 점수와 강하게 상관한다( Pearson r = 0.856 for TS vs recoded Beat Saber scores ).
• 이 연구는 추적 정책과의 통합을 통해 물리 기반의 전체 신체 VR 플레이테스팅의 가능성을 입증한다.

Figure 3: Sampling-based candidate trajectory selection improves performance compared to using deterministic Argmax selection for GS-VAE during inference. The percentiles are evaluated on the same held-out maps as Fig. ˜ 2 with $N_{\text{ref}}=5$ and $\mathbf{x}^{:N_{\text{ref}}}$ sampled from elite