[论文解读] DINO-WM: World Models on Pre-trained Visual Features enable Zero-shot Planning
DINO-WM 使用预训练的 DINOv2 patch 嵌入,在潜在空间中构建离线世界模型,以实现通过模型预测控制的零-shot规划,且无需专家演示或奖励塑形。
The ability to predict future outcomes given control actions is fundamental for physical reasoning. However, such predictive models, often called world models, remains challenging to learn and are typically developed for task-specific solutions with online policy learning. To unlock world models' true potential, we argue that they should 1) be trainable on offline, pre-collected trajectories, 2) support test-time behavior optimization, and 3) facilitate task-agnostic reasoning. To this end, we present DINO World Model (DINO-WM), a new method to model visual dynamics without reconstructing the visual world. DINO-WM leverages spatial patch features pre-trained with DINOv2, enabling it to learn from offline behavioral trajectories by predicting future patch features. This allows DINO-WM to achieve observational goals through action sequence optimization, facilitating task-agnostic planning by treating goal features as prediction targets. We demonstrate that DINO-WM achieves zero-shot behavioral solutions at test time on six environments without expert demonstrations, reward modeling, or pre-learned inverse models, outperforming prior state-of-the-art work across diverse task families such as arbitrarily configured mazes, push manipulation with varied object shapes, and multi-particle scenarios.
研究动机与目标
- 学习从离线轨迹数据中获得任务无关的世界模型,且不进行在线交互或任务特定奖励。
- 使用预训练的视觉 patch 嵌入对观测进行编码,同时保持编码器冻结。
- 训练潜在动力学模型以预测未来的 patch 特征,并实现通过 MPC 或梯度规划在测试时的规划。
- 通过在潜在空间中优化动作序列来实现到达目标观测的规划,而不重建像素。
- 在不同迷宫、操作以及多粒子场景中展示泛化能力。
提出的方法
- 观测模型使用冻结的 DINOv2 patch 嵌入将图像编码为 z_t。
- 转移模型使用基于 ViT 的架构,带因果注意力,利用过往潜在状态和动作在历史长度 H 下预测 z_{t+1}。
- 动作(以及在可用时的本体感知)被拼接到每个 patch 表征以对预测进行条件化。
- 训练使用教师强制与潜在一致性损失: L_pred = || p_theta(enc_theta(o_{t-H:t}), phi(a_{t-H:t})) - enc_theta(o_{t+1}) ||^2。
- 可选解码器 q_theta 从 z_t 重构 o_t 以增强可解释性,单独训练,L_rec = || q_theta(z_t) - o_t ||^2。
- 规划使用带交叉熵方法(CEM)的模型预测控制(MPC)以最小化潜在空间的 MSE 到目标: C = || hat{z}_T - z_g ||^2。
- 规划阶段不需要真实像素重建;规划完全在潜在空间内进行。

实验结果
研究问题
- RQ1DINO-WM 是否能从离线数据集使用预训练的视觉表示有效地训练?
- RQ2潜在空间世界模型能否实现零-shot 规划,在测试时无需演示或奖励即可到达任意视觉目标?
- RQ3使用预训练 patch 嵌入对不同任务族和环境配置的泛化有何影响?
- RQ4与全局特征嵌入相比,基于 patch 的表示是否更好地保持对操作任务所需的空间结构?
主要发现
- DINO-WM 产生高质量的潜在世界模型,在视觉重建指标(LPIPS)上较先前的最先进方法在最困难任务上提高多达 56%。
- 在最困难的任务上,采用 DINO-WM 的规划到达任意目标的成功率平均提高了 45% 相较于先前工作。
- DINO-WM 在同一任务族内对环境变化具有泛化能力(如不同迷宫布局、对象形状),并具有更高的成功率。
- 基于 patch 的编码(DINO Patch)在需要精确空间理解的操纵任务上优于全局编码器(R3M、ResNet、DINO CLS)。
- 与基于扩散的生成模型相比,DINO-WM 为规划提供了更具物理可行性和目标导向性的预测。
- 基于解码器的可解释性在不同环境中验证了鲁棒的潜在预测,具备有利的 SSIM/LPIPS 比较。

阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。