[논문 리뷰] CroCo: Self-Supervised Pre-training for 3D Vision Tasks by Cross-View Completion

Philippe Weinzaepfel, Vincent Leroy외 8명|arXiv (Cornell University)|2022. 10. 19.

Advanced Vision and Imaging인용 수 16

한 줄 요약

CroCo는 한 장의 이미지의 마스크 처리된 패치를 가시 패치와 동일한 장면의 두 번째로 마스크되지 않은 이미지를 사용하여 재구성함으로써, 다중 시점 기하학을 활용하여 모호성을 해결하는 교차 시점 완성(_cross-view completion_)을 도입함으로써 3D 시각을 위한 자기 지율 사전 훈련 방법을 제안한다. 이 방법은 단일 시점에서의 마스크 처리된 이미지 모델링의 모호성을 해소하고, 작업 특화 설계 없이도 단안 깊이 추정에서 최고 성능을 달성하며, 이중 시력 작업(예: 광학 흐름)에서도 경쟁력 있는 결과를 얻는다.

ABSTRACT

Masked Image Modeling (MIM) has recently been established as a potent pre-training paradigm. A pretext task is constructed by masking patches in an input image, and this masked content is then predicted by a neural network using visible patches as sole input. This pre-training leads to state-of-the-art performance when finetuned for high-level semantic tasks, e.g. image classification and object detection. In this paper we instead seek to learn representations that transfer well to a wide variety of 3D vision and lower-level geometric downstream tasks, such as depth prediction or optical flow estimation. Inspired by MIM, we propose an unsupervised representation learning task trained from pairs of images showing the same scene from different viewpoints. More precisely, we propose the pretext task of cross-view completion where the first input image is partially masked, and this masked content has to be reconstructed from the visible content and the second image. In single-view MIM, the masked content often cannot be inferred precisely from the visible portion only, so the model learns to act as a prior influenced by high-level semantics. In contrast, this ambiguity can be resolved with cross-view completion from the second unmasked image, on the condition that the model is able to understand the spatial relationship between the two images. Our experiments show that our pretext task leads to significantly improved performance for monocular 3D vision downstream tasks such as depth estimation. In addition, our model can be directly applied to binocular downstream tasks like optical flow or relative camera pose estimation, for which we obtain competitive results without bells and whistles, i.e., using a generic architecture without any task-specific design.

연구 동기 및 목표

• 감독 없이도 동일한 장면의 레이블이 없는 이미지 쌍에서 3D 기하학 인식 표현을 학습하는 것.
• 단일 시점에서의 마스크 처리된 이미지 모델링의 모호성을 해결하기 위해 두 번째 시점을 도입하여 기하학적 추론을 수행하는 것.
• 단안 3D 시각 작업(예: 깊이 추정)과 이중 시력 작업(예: 광학 흐름) 등에 대한 전이 성능 향상.
• 다양한 3D 시각 작업에 일반화 가능한 아키텍처에 종속되지 않는 일반적인 사전 훈련 방법 개발.
• 교차 시점 완성이 공간적 관계를 활용하여 정밀한 재구성을 가능하게 함을 보여주는 것.

제안 방법

• 모델은 동일한 장면의 두 장의 이미지를 처리하기 위해 시아미즈(Vision Transformer, ViT) 인코더를 사용하며, 한 장의 이미지는 부분적으로 마스크 처리된다.
• 마스크 처리된 이미지의 가시 패치와 기준 이미지의 모든 패치가 잠재 토큰으로 인코딩된다.
• 변환기 디코더는 교차 attention을 사용하여 가시 패치와 기준 이미지 토큰 양쪽 모두에 주의를 기울이며, 교차 시점 추론을 가능하게 한다.
• 디코더는 픽셀 단위 재구성 손실을 사용하여 마스크 처리된 패치의 외관을 예측하며, MAE와 유사하다.
• 고마스크 비율(예: 90%)을 사용하여 Habitat 시뮬레이터에서 얻은 합성 실내 장면 데이터를 사용해 모델을 사전 훈련한다.
• 하류 작업에서는 단안 작업(예: 깊이 추정)에 대해 디코더를 제거하고, 이중 시력 작업(예: 광학 흐름)에는 전체 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 교차 시점 완성은 단일 시점 마스크 처리된 이미지 모델링보다 3D 기하학 인식 표현 학습에서 더 우수한 성능을 내는가?
• RQ2 두 번째 시점을 사용함으로써 이미지 재구성의 모호성이 감소하고 하류 3D 시각 성능가 향상되는가?
• RQ3 하나의 사전 훈련된 모델이 단안 및 이중 시력 3D 시각 작업 모두에서 뛰어난 성능을 달성할 수 있는가?
• RQ4 교차 시점 완성 설정에서 마스크 비율이 사전 훈련 성능에 미치는 영향은 어떠한가?
• RQ5 모델은 명시적인 감독 없이도 시점 간 공간적 및 기하학적 관계를 어느 정도 학습하는가?

주요 결과

• CroCo는 NYUv2 데이터셋에서 이전 자기 지율 방법보다 단안 깊이 추정에서 최고 성능을 달성한다.
• 작업 특화 아키텍처 수정 없이도 광학 흐름 및 상대 자세 추정과 같은 이중 시력 작업에서도 경쟁력 있는 결과를 얻는다.
• 사전 훈련 시 고마스크 비율(예: 90%)을 사용할 경우 하류 성능이 크게 향상된다.
• 실제 기준 이미지를 사용한 재구성은 무작위 노이즈를 사용한 경우보다 훨씬 정확하여, 모델이 기하학적 일관성에 의존하고 있음을 보여준다.
• 교차 시점 감독 덕분에 MAE보다 더 세밀하고 일관성 있는 재구성을 생성하며, 특히 정규화된 패치 재구성에서 두드러진다.
• 품질 평가 예시를 통해 훈련에 사용되지 않은 장면에 대해서도 모델이 잘 일반화됨을 확인할 수 있다.