[논문 리뷰] Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture

Mahmoud Assran, Quentin Duval외 6명|arXiv (Cornell University)|2023. 01. 19.

Domain Adaptation and Few-Shot Learning인용 수 16

한 줄 요약

I-JEPA는 컨텍스트 블록에서 대상 블록 표현을 예측하여 핸드크래프트한 뷰 증강 없이 의미론적 이미지 표현을 학습하며, 공동 임베딩 예측 프레임워크에 마스킹을 활용합니다; ViT 백본에서 효율적으로 확장되며 의미론적 작업에서 뷰 불변성 방법과 경쟁하고 저수준 작업에서 우수합니다.

ABSTRACT

This paper demonstrates an approach for learning highly semantic image representations without relying on hand-crafted data-augmentations. We introduce the Image-based Joint-Embedding Predictive Architecture (I-JEPA), a non-generative approach for self-supervised learning from images. The idea behind I-JEPA is simple: from a single context block, predict the representations of various target blocks in the same image. A core design choice to guide I-JEPA towards producing semantic representations is the masking strategy; specifically, it is crucial to (a) sample target blocks with sufficiently large scale (semantic), and to (b) use a sufficiently informative (spatially distributed) context block. Empirically, when combined with Vision Transformers, we find I-JEPA to be highly scalable. For instance, we train a ViT-Huge/14 on ImageNet using 16 A100 GPUs in under 72 hours to achieve strong downstream performance across a wide range of tasks, from linear classification to object counting and depth prediction.

연구 동기 및 목표

• 핸드-크래프트된 뷰 증강 없이 의미론적 이미지 표현을 학습하도록 동기를 제시한다.
• 이미지를 위한 비생성적 공동 임베딩 예측 아키텍처(I-JEPA)를 제안한다.
• 의미론적 타깃과 정보가 풍부한 컨텍스트를 제공하는 마스킹 전략을 조사한다.
• 대형 Vision Transformer에서 I-JEPA의 확장성과 효율성을 입증한다.
• 선형 탐지, 반지도 학습, 및 전이 작업에 걸쳐 I-JEPA를 평가한다.

제안 방법

• 단일 컨텍스트 블록을 처리하기 위해 ViT 컨텍스트 인코더를 사용한다.
• 위치 토큰에 조건화된 예측기로 타깃 블록 표현을 예측한다.
• 가중치가 컨텍스트 인코더의 지수 이동 평균으로 업데이트되는 타깃 인코더를 통해 타깃을 표현한다.
• 임베딩 공간에서 예측된 표현과 실제 타깃 표현 간의 L2 거리 최소화를 통해 훈련한다.
• 다중 블록 마스킹 전략으로 이미지에서 타깃 블록을 샘플링하여 의미론적 타깃과 정보성이 풍부한 컨텍스트를 보장한다.
• 다양한 설정(선형 탐지, 1% 라벨, 전이)에서 MAE, data2vec 및 뷰 불변성 방법과 I-JEPA를 비교한다.

실험 결과

연구 질문

• RQ1 핸드크래프트 증강 없이 이미지 블록 간 임베딩을 예측함으로써 의미론적 이미지 표현을 학습할 수 있는가?
• RQ2 가장 의미론적 표현을 산출하는 마스킹 전략은 무엇인가(타깃 크기, 컨텍스트 정보성)?
• RQ3 재구성 및 증강 기반 방법과 비교하여 계산량과 모델 크기 측면에서 I-JEPA의 확장성은 어느 정도인가?
• RQ4 학습된 표현이 분류 및 밀집/저수준 예측 작업으로 효과적으로 전이되는가?
• RQ5 표현 공간에서 예측하는 것이 픽셀 공간 재구성보다 의미 품질에 더 효과적인가?

주요 결과

• I-JEPA는 이미지넷에서 뷰 증강 없이 강력한 선형 탐지 성능을 달성하며 비슷한 계산량에서 MAE 및 data2vec를 능가할 수 있다.
• 더 큰 모델과 더 높은 입력 해상도는 I-JEPA를 확장하여 의미론적 작업에서 뷰 불변성 방법과 일치하거나 이를 초과하도록 한다.
• I-JEPA는 Clevr에서 객체 수 추정 및 깊이 예측과 같은 저수준 작업을 일부 뷰 기반 방법과 비교하여 개선한다.
• I-JEPA는 경쟁 방법보다 계산 효율적이며 강한 성능에 도달하기 위해 필요한 사전 학습 반복 수가 적고, 특히 ViT-H/14 및 해상도 증가에서 그렇다.
• 표현 공간에서 예측하는 것이 의미 품질 유지를 위해 결정적이며 픽셀 공간 타깃은 성능을 저하시킨다.
• 정보성 컨텍스트와 큰 의미 타깃을 결합한 다중 블록 마스킹 전략이 래스터화되거나 단일 블록 마스킹보다 더 좋은 표현을 만들어낸다.
• I-JEPA는 더 크고 다양한 사전 학습 데이터(ImageNet-22k)로부터 이점을 얻으며 의미 작업에서 모델 크기가 커질수록 더 잘 확장된다.