[論文レビュー] WorldCompass: Reinforcement Learning for Long-Horizon World Models

Zehan Wang, Tengfei Wang+10 more|arXiv (Cornell University)|Feb 9, 2026

Human Pose and Action Recognition被引用数 0

ひとこと要約

WorldCompass は clip レベルのロールアウト、行動追従と視覚品質の補完報酬、そしてネガティブ認識のファインチューニングを組み合わせたRLポストトレーニングフレームワークで、WorldPlay で顕著な向上を達成します。

ABSTRACT

This work presents WorldCompass, a novel Reinforcement Learning (RL) post-training framework for the long-horizon, interactive video-based world models, enabling them to explore the world more accurately and consistently based on interaction signals. To effectively "steer" the world model's exploration, we introduce three core innovations tailored to the autoregressive video generation paradigm: 1) Clip-level rollout Strategy: We generate and evaluate multiple samples at a single target clip, which significantly boosts rollout efficiency and provides fine-grained reward signals. 2) Complementary Reward Functions: We design reward functions for both interaction-following accuracy and visual quality, which provide direct supervision and effectively suppress reward-hacking behaviors. 3) Efficient RL Algorithm: We employ the negative-aware fine-tuning strategy coupled with various efficiency optimizations to efficiently and effectively enhance model capacity. Evaluations on the SoTA open-source world model, WorldPlay, demonstrate that WorldCompass significantly improves interaction accuracy and visual fidelity across various scenarios.

研究の動機と目的

• 長期的相互作用の忠実性を高めるためのビデオベース世界モデルのポストトレーニングを動機付ける。
• 自己回帰的ビデオ生成と相互作用信号に特化した RL フレームワークを開発する。
• 長いシーケンスに対する探索効率と報酬信号の粒度を改善する。
• 報酬ハックを緩和しつつ、行動追従の正確性と視覚品質のバランスを取る。

提案手法

• ターゲットクリップの複数のロールアウトを生成・評価するクリップレベルロールアウトを導入し、プレフィックスを再利用する。
• 相補的な2つの報酬関数：相互作用追従正確性と視覚品質（HPSv3）を設計する。
• 拡散ベースのビデオモデルの効率化を備えたネガティブ認識ファインチューニング RL アルゴリズムを使用する。
• 訓練を安定化させるために Best-of-N サンプリングとカリキュラム風の進行的ターゲットクリップインデックスを採用する。
• KL正則化を避け、EMA更新と低い学習率に依存して安定的な最適化を図る。

実験結果

リサーチクエスチョン

• RQ1 ポストトレーニングの RL は Pre-training を超えて自己回帰的・対話的な長距離世界モデルの性能を改善できるか。
• RQ2 クリップレベルのロールアウトとデュアル報酬は、シーケンスレベルの報酬よりも細かく有益なフィードバックを提供するか。
• RQ3 過剰適合や報酬ハックを避けつつ、RL を用いた拡散ベースの世界モデルを効率的に訓練するにはどうすればよいか。
• RQ4 WorldCompass は異なる WorldPlay バリアントやアクションの複雑さを横断して一般化するか。

主な発見

• WorldCompass は、短・中・長のホライズンおよび基本アクションと複合アクションの両方で、対話精度を大幅に向上させる。
• 複雑な複合アクションでは、WorldCompass によってアクション正確性が約20%から約55%へ改善した。
• 基本アクションでは、アクション正確性が約10ポイント向上した。
• 視覚品質（HPSv3）も WorldCompass で改善され、指示と整合性が高まっていることを示している。
• クリップレベルのロールアウトは、アクション追従と視覚品質の両方を推進する上で、サンプルレベルのロールアウトより優れている。
• 効率化戦略（Best-of-N、時間ステップのサブサンプリング、進行的クリップ長）は、パフォーマンスを損なうことなく訓練時間を最大約50%削減する。