Skip to main content
Nubint
QUICK REVIEW

[論文レビュー] Robo-Saber: Generating and Simulating Virtual Reality Players

Nam Hee Kim, Jingjing May Liu|arXiv (Cornell University)|Feb 20, 2026
Artificial Intelligence in Games被引用数 0
ひとこと要約

Robo-Saber は、Beat Saber のVRヘッドセットとコントローラの軌道を、ゲーム内状態から生成する条件付き運動生成システムで、BOXRR-23 データで訓練され、GPUベースの Beat Saber シミュレータを通じて評価され、インシリコ玩具テストと物理ベースの全身VRモデリングを可能にします。

ABSTRACT

We present the first motion generation system for playtesting virtual reality (VR) games. Our player model generates VR headset and handheld controller movements from in-game object arrangements, guided by style exemplars and aligned to maximize simulated gameplay score. We train on the large BOXRR-23 dataset and apply our framework on the popular VR game Beat Saber. The resulting model Robo-Saber produces skilled gameplay and captures diverse player behaviors, mirroring the skill levels and movement patterns specified by input style exemplars. Robo-Saber demonstrates promise in synthesizing rich gameplay data for predictive applications and enabling a physics-based whole-body VR playtesting agent.

研究の動機と目的

  • VR 3p 軌道（ヘッドセットと二つのコントローラ）をゲーム内状態を条件として生成する条件付き運動生成モデルの開発。
  • スキルレベルと動作パターンを反映するスタイルのエ exemplar で条件付けして行動的多様性を捉える。
  • 追跡ポリシーとシミュレータとの統合を通じた長期・物理感知の全身VR玩具テストを実現する。

提案手法

  • 参照条件付き CCM（Categorical Codebook Matching）と Transformer ベースの GS-VAE を用いて 3p 軌道の条件分布をモデル化する。
  • コンテキスト的な exemplars とゲーム内状態を条件 signalsとして取り込むため、 CCM をスタイルエンコーダとゲームエンコーダで拡張する。
  • z3p と zGame の分布マッチングを MSE マッチングの代わりに Jensen-Shannon ダイバージェンス損失で行う。
  • zGame から複数の候補の3p軌道を生成し、GPU加速のゲームシミュレーション（TorchSaber）と報酬関数によって最良を選択する。
  • BOXRR-23 Beat Saber データセットで訓練し、対 BeatSaver マップとの教師あり3p運動学習を合わせる。
  • 物理に基づく追跡ポリシーと評価することで全身運動合成を実証し、スコア予測能力（PSP）とデータ拡張を評価する。
Figure 2: Comparing Robo-Saber’s performance to that of human players. Robo-Saber trajectories are produced by using $N_{\text{ref}}=5$ segments from elite (top 5%) players. Left: Human and Robo-Saber TS score distributions across all held-out maps are shown as raincloud plots. Right: Robo-Saber’s p
Figure 2: Comparing Robo-Saber’s performance to that of human players. Robo-Saber trajectories are produced by using $N_{\text{ref}}=5$ segments from elite (top 5%) players. Left: Human and Robo-Saber TS score distributions across all held-out maps are shown as raincloud plots. Right: Robo-Saber’s p

実験結果

リサーチクエスチョン

  • RQ1スタイル条件付きの三点運動モデルは、ゲーム内オブジェクト配置に条件付けられた Beat Saber 的多様なプレイ軌道を再現できるか？
  • RQ2文脈的 exemplars への条件付けは、目標プレイオブジェクティブとプレイヤースタイルへの整列を改善するか？
  • RQ3生成された軌道は、個別のスコア予測や下流モデルのデータ拡張などの予測タスクをサポートできるか？
  • RQ4物理ベースの追跡ポリシーとの統合は、全身VRのリアリズムと有用性にどのように影響するか？

主な発見

  • Robo-Saber は熟練した Beat Saber 的軌道を生成し、生成された運動学でエリート人間プレイヤーと密接に競合する。
  • モデルは人間のリファレンスプレイヤーの技能レベルと動作パターンと一致するプレイをシミュレートできる。
  • 個別スコア予測（PSP）は、Robo-Saber 生成データを用いて新しいマップのスコアを予測するのに実現可能である。
  • Robo-Saber によるデータの合成拡張は、下流のスコア予測モデルの精度を向上させる。
  • GPUベースの Beat Saber シミュレータ（TorchSaber）は、実スコアと高い相関を示す（Pearson r = 0.856 for TS vs recoded Beat Saber scores）。
  • 本研究は、追跡ポリシーとの統合を通じた物理ベースの全身VR玩具テストの実現可能性を示す。
Figure 3: Sampling-based candidate trajectory selection improves performance compared to using deterministic Argmax selection for GS-VAE during inference. The percentiles are evaluated on the same held-out maps as Fig. ˜ 2 with $N_{\text{ref}}=5$ and $\mathbf{x}^{:N_{\text{ref}}}$ sampled from elite
Figure 3: Sampling-based candidate trajectory selection improves performance compared to using deterministic Argmax selection for GS-VAE during inference. The percentiles are evaluated on the same held-out maps as Fig. ˜ 2 with $N_{\text{ref}}=5$ and $\mathbf{x}^{:N_{\text{ref}}}$ sampled from elite

より良い研究を、今すぐ始めましょう

論文設計から論文執筆まで、研究時間を劇的に削減しましょう。

クレジットカード登録不要

このレビューはAIが作成し、人間の編集者が確認しました。