[論文レビュー] Towards Practical World Model-based Reinforcement Learning for Vision-Language-Action Models

Zhilong Zhang, Haoxiang Ren+7 more|arXiv (Cornell University)|Mar 21, 2026

Multimodal Machine Learning Applications被引用数 0

ひとこと要約

この論文は、Unified Multimodal Model (UMM) のバックボーンを用い、統合型多模態モデルを基盤とした実世界ロボティクス用の視覚言語行動（VLA）モデルのファインチューニングを行う実用的な世界モデルベースRLフレームワークである。マルチビュー整合性のためのインタリーブドビュー decoding、そして積算誤差を緩和するチャンクレベル分岐ロールアウトを提案する。

ABSTRACT

Vision-Language-Action (VLA) models show strong generalization for robotic control, but finetuning them with reinforcement learning (RL) is constrained by the high cost and safety risks of real-world interaction. Training VLA models in interactive world models avoids these issues but introduces several challenges, including pixel-level world modeling, multi-view consistency, and compounding errors under sparse rewards. Building on recent advances across large multimodal models and model-based RL, we propose VLA-MBPO, a practical framework to tackle these problems in VLA finetuning. Our approach has three key design choices: (i) adapting unified multimodal models (UMMs) for data-efficient world modeling; (ii) an interleaved view decoding mechanism to enforce multi-view consistency; and (iii) chunk-level branched rollout to mitigate error compounding. Theoretical analysis and experiments across simulation and real-world tasks demonstrate that VLA-MBPO significantly improves policy performance and sample efficiency, underscoring its robustness and scalability for real-world robotic deployment.

研究の動機と目的

• VLAモデルの実世界RLにおけるデータ非効率性と安全性の懸念に対処する。
• 視覚と報酬を共同予測する統一型多模態ワールドモデル（UMM）バックボーンを提案する。
• インタリーブドビュー decoding によるマルチビュー整合性を保証する。
• チャンクレベルの分岐ロールアウトで誤差蓄積を緩和する。
• シミュレーションと実世界タスクの両方で方策性能とデータ効率の改善を実証する。

提案手法

• ピクセル入力から次の観測と報酬を予測するための事前学習済みUMMをワールドモデルのバックボーンとして使用する。
• 連続行動をトークンへ離散化し、チャンク化された行動を用いてT_theta で次の観測を生成し、エンドツーエンドのUMM利用を可能にする。
• ヘッド視点とリスト視点の観測間の相互視点整合性を強制するためにインタリーブドビュー decoding を実装する。
• 短ロールアウト計画と段階的なポリシー更新により誤差の蓄積を抑えるチャンクレベルの分岐ロールアウトを適用する。
• 安定したポリシー最適化のためFlow-Noise（PPO の変種）を採用し、価値推定 V_phi(s,l) のためにMLPヘッドを追加する。
• 分岐ロールアウトとチャンク化されたワールドモデルによって価値ギャップを低減する理論的境界を示す。

実験結果

リサーチクエスチョン

• RQ1 UMM ベースのワールドモデルは VLA タスクのマルチビュー動力学と報酬をどれだけ正確に予測できるか。
• RQ2 VLA-MBPO は基線と比較してシミュレーションにおけるサンプル効率と方策性能を改善するか。
• RQ3 VLA-MBPO は多様なタスクで実世界ロボティクスへ効果的に移行できるか。
• RQ4 ロールアウト長・サンプルサイズ・アブレーションによる感度はどの程度か。
• RQ5 この枠組みにおける積み上げ誤差による価値ギャップを緩和する理論的保証は何か。

主な発見

Model	LIBERO_Spatial	LIBERO_Object	LIBERO_Goal	LIBERO_Long	LIBERO_Avg	One-Trajectory SFT
π0.5 (SFT)	78.2	88.6	85.8	54.6	76.8	Yes
VLA-MBPO	87.8	96.6	92.8	66.8	85.9	No
Δ	+9.6	+8.0	+6.8	+12.2	+9.1	–

• UMM-World はヘッドビューとリストビューの両方でダイナミクスと報酬予測の性能が上回り、ビデオワールドベースラインより推論が高速である。
• VLA-MBPO は LIBERO で基線より一貫した性能向上を示し、平均成功率と長期タスクの性能を改善する。
• 現実世界の実験は、変形可能物体や高自由度操作を含む複数のロボットプラットフォームとタスクで堅実なゲインを示す。
• 分岐ロールアウトとチャンク化されたワールドモデルは価値ギャップの成長を大幅に抑え、長期的な計画を安定させる。
• 単一のハイパーパラメータセットで複数のタスクに対応可能で、実装上の利点を強調する。
• アブレーション実験は、インタリーブドビュー decoding と事前学習済みワールドモデルの重要性を裏付ける。