[논문 리뷰] Learning and Leveraging World Models in Visual Representation Learning

Quentin Garrido, Mahmoud Assran외 4명|arXiv (Cornell University)|2024. 03. 01.

Advanced Image and Video Retrieval Techniques인용 수 7

한 줄 요약

이미지 세계 모델(IWM)을 Joint Embedding Predictive Architecture(JEPA) 기반으로 도입하여 변환의 효과를 예측하는 재사용 가능한 잠재 세계 모델을 학습; 예측기 미세조정 및 대조-마스크드 이미지 모델링 접근을 잇는 제어 가능한 표현 추상화를 보여준다.

ABSTRACT

Joint-Embedding Predictive Architecture (JEPA) has emerged as a promising self-supervised approach that learns by leveraging a world model. While previously limited to predicting missing parts of an input, we explore how to generalize the JEPA prediction task to a broader set of corruptions. We introduce Image World Models, an approach that goes beyond masked image modeling and learns to predict the effect of global photometric transformations in latent space. We study the recipe of learning performant IWMs and show that it relies on three key aspects: conditioning, prediction difficulty, and capacity. Additionally, we show that the predictive world model learned by IWM can be adapted through finetuning to solve diverse tasks; a fine-tuned IWM world model matches or surpasses the performance of previous self-supervised methods. Finally, we show that learning with an IWM allows one to control the abstraction level of the learned representations, learning invariant representations such as contrastive methods, or equivariant representations such as masked image modelling.

연구 동기 및 목표

• JEPA 프레임워크 내에서 재사용 가능한 이미지 세계 모델(IWM)을 학습하는 방법 연구.
• IWMs 성공의 핵심 요소 식별: 조건화, 변환 복잡성, 예측기 용량.
• 다운스트림 판별 작업과 다중 작업 효율성을 위한 미세조정 프로토콜 시연.
• 세계 모델의 용량이 표현 추상화(불변성 vs 등가성)에 미치는 영향 제시.

제안 방법

• JEPA를 확장하여 변환된 표현을 예측하는 잠재 공간 세계 모델을 학습한다.
• 선택된 증강 아래 원본 x와 목표 y를 이용해 학습; 예측기 p_phi가 z_x로부터 z_y를 맞추며 L2 손실을 사용한다.
• 시퀀스 또는 특징 조건화를 통해 예측기를 변환 정보로 조건화한다(기본값: 특징 조건화).
• 증강 대상 은행에 대해 평균 역순위(MRR)로 세계 모델 품질을 평가한다.
• 예측기 미세조정(인코더 미세조정 대비) 및 다중 작업 미세조정에서 다운스트림 전이 평가; 불변성과 등가성 체제 연구.
• 세계 모델 용량과 변환 강도가 성능과 표현 추상화에 미치는 영향을 특징화한다.

실험 결과

연구 질문

• RQ1 학습된 잠재 세계 모델이 다운스트림 판별 비전 작업의 성능을 향상시키기 위해 재사용될 수 있는가?
• RQ2 예측기 조건화, 변환 복잡성, 모델 용량이 이미지 세계 모델의 품질과 활용도에 어떤 영향을 미치는가?
• RQ3 세계 모델의 불변성 대 등가성이 다운스트림 성능과 표현 추상화 수준에 어떤 영향을 미치는가?
• RQ4 IWMs가 여러 비전 작업에 걸친 효율적인 다중 작업 미세조정을 가능하게 하는가?

주요 결과

• 예측기를 변환 정보로 조건화하는 것이 필수적이다; 조건화가 없으면 MRR은 0이고, 시퀀스 또는 특징 조건화는 높은 MRR(약 ~0.8)를 산출한다.
• 더 강하고 복잡한 변환과 예측기 깊이의 증가가 세계 모델 충실도(MRR)를 높인다.
• 등가성 IWMs은 예측기 미세조정을 더 효과적으로 만들고 무작위 예측기에 비해 현저한 이점을 제공하며, 많은 설정에서 인코더 미세조정의 효율성과 동등하거나 그 이상을 달성할 수 있다.
• 불변성 IWMs은 선형 평가에서 더 나은 성능을 보이는 경향이 있고, 등가성 IWMs은 예측기 미세조정 및 다중 작업 시나리오에서 탁월하다.
• IWMs로의 예측기 미세조정은 인코더 미세조정보다 매개변수 효율이 높으며, 다중 작업 미세조정은 작업 간 효율성 향상을 보여준다.
• IWMs는 표현 추상화의 스펙트럼을 대조적 유사(불변성)와 MIM 유사(등가성) 체제 사이에서 제공하여 제어 가능한 절충을 가능하게 한다.