[논문 리뷰] DINO-WM: World Models on Pre-trained Visual Features enable Zero-shot Planning
DINO-WM은 선행 학습된 DINOv2 패치 임베딩을 사용하여 잠재 공간에서 오프라인 월드 모델을 구축하고, 전문가 시연이나 보상 설계 없이 모델 예측 제어를 통한 제로샷 계획을 가능하게 한다.
The ability to predict future outcomes given control actions is fundamental for physical reasoning. However, such predictive models, often called world models, remains challenging to learn and are typically developed for task-specific solutions with online policy learning. To unlock world models' true potential, we argue that they should 1) be trainable on offline, pre-collected trajectories, 2) support test-time behavior optimization, and 3) facilitate task-agnostic reasoning. To this end, we present DINO World Model (DINO-WM), a new method to model visual dynamics without reconstructing the visual world. DINO-WM leverages spatial patch features pre-trained with DINOv2, enabling it to learn from offline behavioral trajectories by predicting future patch features. This allows DINO-WM to achieve observational goals through action sequence optimization, facilitating task-agnostic planning by treating goal features as prediction targets. We demonstrate that DINO-WM achieves zero-shot behavioral solutions at test time on six environments without expert demonstrations, reward modeling, or pre-learned inverse models, outperforming prior state-of-the-art work across diverse task families such as arbitrarily configured mazes, push manipulation with varied object shapes, and multi-particle scenarios.
연구 동기 및 목표
- 온라인 상호작용이나 태스크 특정 보상 없이 오프라인 트라이젝토리 데이터로 태스크에 구애받지 않는 월드 모델을 학습한다.
- 관찰을 인코딩하기 위해 미리 학습된 시각 패치 임베딩을 사용하고 인코더를 동결된 상태로 유지한다.
- 잠재 다이나믹스 모델을 학습하여 미래 패치 특징을 예측하고 테스트 시점의 MPC 또는 그래디언트 계획을 가능하게 한다.
- 픽셀 재구성 없이 잠재 공간에서 행동 시퀀스를 최적화하여 목표 관찰에 도달하도록 계획한다.
- 다양한 미로, 조작 및 다입자 시나리오에서 일반화를 시연한다.]
- method:["관찰 모델은 고정된 DINOv2 패치 임베딩을 사용하여 이미지를 z_t로 인코딩한다.","전이 모델은 인과적 어텐션이 있는 ViT 기반 아키텍처를 사용하며, 과거 잠재 상태와 행동을 받아 히스토리 길이 H로 z_{t+1}를 예측한다.","행동(가능할 때 관절센서 정보도)은 각 패치 표현에 연결되어 예측을 조건화한다.","학습은 잠재 일관성 손실을 포함한 교사 강제(teacher forcing)로 이루어지며: L_pred = || p_theta(enc_theta(o_{t-H:t}), phi(a_{t-H:t})) - enc_theta(o_{t+1}) ||^2.","선택적 디코더 q_theta는 해석 가능성을 위해 z_t에서 o_t를 재구성하며, L_rec = || q_theta(z_t) - o_t ||^2로 별도 학습한다.","계획은 CEM가 포함된 MPC를 사용하여 목표에 대한 잠재 MSE를 최소화한다: C = || hat{z}_T - z_g ||^2.","계획 중에 실제 픽셀 재구성은 필요하지 않으며, 계획은 전적으로 잠재 공간에서 수행된다."]
- research_questions:["사전 학습된 시각 표현을 사용하여 오프라인 데이터셋에서 DINO-WM을 효과적으로 학습시킬 수 있는가?","잠재 공간 월드 모델이 시연이나 보상 없이도 테스트 시점에 임의의 시각 목표를 달성하기 위한 제로샷 계획을 가능하게 하는가?","사전 학습된 패치 임베딩 사용이 다양한 태스크 가족 및 환경 구성에서 일반화에 어떤 영향을 미치는가?","패치 기반 표현이 전역 특징 임베딩에 비해 조작 작업에 필요한 공간 구조를 더 잘 보존하는가?"]
- key_findings:["DINO-WM은 지연된 세계 모델의 품질을 높여 최강 작업에서 시각 재구성 지표(LPIPS)를 이전 최첨단 대비 최대 56% 향상시킨다.","DINO-WM을 사용하면 임의의 목표에 도달하기 위한 계획이 최강 작업에서 성공률이 평균 45% 향상된다.","DINO-WM은 태스크 가족 내 환경 변형(예: 서로 다른 미로 배치, 물체 형태)에서 더 높은 성공률로 일반화한다.","패치 기반 인코딩(DINO Patch)은 정밀한 공간 이해가 필요한 조작 작업에서 글로벌 인코더(R3M, ResNet, DINO CLS)보다 우수하다.","확산 기반 생성 모델과 비교할 때 DINO-WM은 계획에 대해 더 물리적으로 타당하고 목표지향적인 예측을 제공한다.","디코더 기반 해석 가능성은 환경 전반에 걸쳐 우호적인 SSIM/LPIPS 비교와 함께 강인한 잠재 예측을 확인한다."]
- table_headers:["모델","PointMaze SR","PushT SR","Wall SR","Rope CD","Granular CD"],
- table_rows:[["IRIS","0.74","0.32","0.04","1.11","0.37"],["DreamerV3","1.00","0.04","1.00","2.49","1.05"],["TD-MPC2","0.00","0.00","0.00","2.52","1.21"],["Ours","0.98","0.90","0.96","0.41","0.26"],["(empty)","(empty)","(empty)","(empty)","(empty)","(empty)"]]} }}){
- note:
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.