[논문 리뷰] MC-JEPA: A Joint-Embedding Predictive Architecture for Self-Supervised Learning of Motion and Content Features

Adrien Bardes, Jean Ponce외 1명|arXiv (Cornell University)|2023. 07. 24.

Advanced Vision and Imaging인용 수 5

한 줄 요약

MC-JEPA는 공유 인코더를 사용하여 운동(광학 흐름) 및 콘텐츠 특징을 동시에 학습하는 다중 작업 자기 지율 학습 프레임워크를 제안한다. 이는 PWC-Net 기반의 흐름 추정과 VICReg를 결합한 대비 자기 지율 학습 방식을 사용한다. 이 방법은 광학 흐름 벤치마크에서 최신 기술 수준의 성능을 달성하였고, 이미지 및 비디오 세그멘테이션 작업에서 뛰어난 전이 성능을 보이며, 운동과 콘텐츠 표현 학습 간 상호 개선 효과를 입증한다.

ABSTRACT

Self-supervised learning of visual representations has been focusing on learning content features, which do not capture object motion or location, and focus on identifying and differentiating objects in images and videos. On the other hand, optical flow estimation is a task that does not involve understanding the content of the images on which it is estimated. We unify the two approaches and introduce MC-JEPA, a joint-embedding predictive architecture and self-supervised learning approach to jointly learn optical flow and content features within a shared encoder, demonstrating that the two associated objectives; the optical flow estimation objective and the self-supervised learning objective; benefit from each other and thus learn content features that incorporate motion information. The proposed approach achieves performance on-par with existing unsupervised optical flow benchmarks, as well as with common self-supervised learning approaches on downstream tasks such as semantic segmentation of images and videos.

연구 동기 및 목표

• 기존 자기 지율 학습 방법이 운동 또는 픽셀 수준의 동적 특징을 고려하지 못하는 한계를 해결한다.
• 광학 흐름 추정과 자기 지율 콘텐츠 표현 학습을 하나의 공동 임베딩 아키텍처로 통합하여 특징 일반화를 향상시킨다.
• 운동 기반 콘텐츠 특징을 학습하여 다운스트림 작업, 예를 들어 의미 세그멘테이션에 대한 전이 학습을 가능하게 한다.
• 다중 작업 설정에서 공유 표현 학습을 통해 운동과 콘텐츠 학습 목적이 상호 보완적으로 작용함을 입증한다.
• 학습 스케줄, 손실 가중치 및 아키텍처 구성 요소가 성능 및 특징 품질에 미치는 영향을 탐색한다.

제안 방법

• PWC-Net 기반의 흐름 추정기인 M-JEPA를 제안하며, 후방 일致성 손실 및 분산-공분산 정규화 등의 개선 사항을 포함한다.
• VICReg, ImageNet에서 사전 훈련된 대비 자기 지율 학습 방법을 M-JEPA와 통합하여 다중 작업 환경에서 흐름 및 콘텐츠 특징을 공동 최적화한다.
• 공유 인코더를 사용하여 운동(흐름)과 의미 콘텐츠를 모두 포함하는 공동 임베딩을 생성함으로써 비디오 및 이미지 데이터에서 엔드 투 엔드 훈련을 가능하게 한다.
• 사이클 일관성과 함께 흐름 추정 손실과 VICReg 대비 손실을 조합한 다중 작업 손실을 사용하며, 가중치는 학습 가능한 계수로 조정한다.
• 에포크 교체 및 배치 교체와 같은 데이터 샘플링 전략을 활용하여 ImageNet과 비디오 데이터셋을 통합된 훈련 스케줄에서 훈련한다.
• 훈련 안정성 향상과 성능 향상을 위해 흐름 추정 헤드에서 레이어 정규화 및 L2 정규화와 같은 아키텍처 구성 요소를 활용한다.

실험 결과

연구 질문

• RQ1 다중 작업 설정에서 광학 흐름과 콘텐츠 특징을 동시에 학습하면 운동 추정 및 의미 이해 작업의 성능 향상에 기여하는가?
• RQ2 사전 훈련 중에 흐름 학습을 도입하는 순서와 시점은 최종 표현 품질에 어떤 영향을 미치는가?
• RQ3 다양한 다운스트림 작업에서 성능을 극대화하기 위해 흐름 추정과 자기 지율 콘텐츠 학습 목표 간 최적의 균형은 무엇인가?
• RQ4 사이클 일관성과 분산-공분산 정규화를 통합하면 자기 지율 설정에서 광학 흐름 추정 성능이 크게 향상되는가?
• RQ5 혼합된 이미지 및 비디오 데이터에서 훈련된 단일 공유 인코더가 세그멘테이션 및 기타 조밀한 예측 작업으로 전이 가능한 일반화된 특징을 생성할 수 있는가?

주요 결과

• MC-JEPA는 KITTI 2015 흐름 오차에서 2.67을 기록하여, 자율 학습 방법과 동등한 최신 기술 수준의 성능를 달성하면서도 동시에 콘텐츠 특징을 학습한다.
• Cityscapes 데이터셋에서 이미지 세그멘테이션의 경우 67.1%의 평균 IoU, 비디오 세그멘테이션의 경우 70.5%를 기록하여 강력한 전이 성능를 입증한다.
• 절단 실험 결과, ImageNet 사전 훈련 10 에포크 이후에 흐름 훈련을 시작하는 것이 최적의 성능를 내며, 계산량을 줄일 수 있음을 보여, 초기 공동 훈련이 필수적이지 않음을 시사한다.
• 사이클 일관성 손실은 흐름 추정 성능에 크게 기여하며, 계수 0.01에서 성능이 최고조에 이르며, 이는 임베딩 공간의 안정성 향상에 기여함을 보여준다.
• 다중 작업 가중치 계수는 매우 중요한 영향을 미치며, 계수 0.1을 초과하면 성능이 저하됨을 확인하여 운동과 콘텐츠 학습 간의 상충 관계를 확인한다.
• ConvNeXt-T를 백본으로 사용할 경우 최고의 성능(67.1% ISeg, 70.5% VSeg)을 기록하며, ResNet-50 및 PWC-Net을 초월함을 통해 아키텍처 선택이 특징 품질에 결정적인 영향을 미친다는 것을 시사한다.