[논문 리뷰] MultiMAE: Multi-modal Multi-task Masked Autoencoders

Roman Bachmann, David Mizrahi외 2명|arXiv (Cornell University)|2022. 04. 04.

Domain Adaptation and Few-Shot Learning인용 수 10

한 줄 요약

MultiMAE는 RGB 이미지, 깊이, 세분화 정보라는 다중 모odal 데이터와 가짜 레이블 데이터를 사용하여 단일 비전 트랜스포머를 다중 작업 및 다중 모달 마스킹 오토인코더 프레임워크로 사전 훈련한다. 여러 모달리티에 걸쳐 패치를 마스킹하고, 각 작업에 특화된 디코더를 사용해 이를 재구성함으로써, 다중 모달리티 및 다중 작업 표현을 학습한다. 이로 인해 아키텍처의 최소한의 변경으로도 이미지 분류, 세분화, 깊이 추정 작업 전반에서 최신 기술 성능을 달성한다.

ABSTRACT

We propose a pre-training strategy called Multi-modal Multi-task Masked Autoencoders (MultiMAE). It differs from standard Masked Autoencoding in two key aspects: I) it can optionally accept additional modalities of information in the input besides the RGB image (hence "multi-modal"), and II) its training objective accordingly includes predicting multiple outputs besides the RGB image (hence "multi-task"). We make use of masking (across image patches and input modalities) to make training MultiMAE tractable as well as to ensure cross-modality predictive coding is indeed learned by the network. We show this pre-training strategy leads to a flexible, simple, and efficient framework with improved transfer results to downstream tasks. In particular, the same exact pre-trained network can be flexibly used when additional information besides RGB images is available or when no information other than RGB is available - in all configurations yielding competitive to or significantly better results than the baselines. To avoid needing training datasets with multiple modalities and tasks, we train MultiMAE entirely using pseudo labeling, which makes the framework widely applicable to any RGB dataset. The experiments are performed on multiple transfer tasks (image classification, semantic segmentation, depth estimation) and datasets (ImageNet, ADE20K, Taskonomy, Hypersim, NYUv2). The results show an intriguingly impressive capability by the model in cross-modal/task predictive coding and transfer.

연구 동기 및 목표

• 여러 모달리티(RGB, 깊이, 세분화)와 여러 작업을 활용하여 종속된 전이 성능을 향상시키는 통합 사전 훈련 프레임워크를 개발하는 것.
• 동일한 사전 훈련된 모델을 사용해 단일 모달리티 및 다중 모달리티 종속 작업에 대해 민첩하게 미세조정할 수 있도록 하는 것.
• 다중 모달 데이터셋이 필요 없이 RGB 이미지와 가짜 레이블 데이터만을 사용해 효율적으로 모델을 훈련시키는 것.
• 다중 모달리티 및 다중 작업 예측 코드가 표현 학습과 전이 성능 향상에 기여하는지 조사하는 것.
• 단일 사전 훈련된 MultiMAE 모델이 다양한 종속 작업에서 작업별 기준 모델을 뛰어넘거나 대체할 수 있음을 보여주는 것.

제안 방법

• MultiMAE는 다중 입력 모달리티(RGB, 깊이, 세분화)에서 무작위로 샘플된 패치의 부분 집합을 처리하기 위해 비전 트랜스포머 인코더를 사용하며, 패치와 모달리티 모두에 마스킹을 적용한다.
• 모델은 각 작업의 마스킹된 패치를 재구성하기 위해 학습 가능한 쿼리(마스크 토큰 포함)를 사용하는 교차 어텐션을 활용하는 작업별 디코더를 사용한다.
• 훈련 목표는 마스킹된 패치에서만 재구성 손실을 최소화함으로써, 다양한 모달리티에서 희소한 입력 패치로부터 누락된 영역을 예측하도록 모델을 유도한다.
• 가짜 레이블링을 통해 ImageNet-1K에서 사전 훈련된 모델로부터 깊이 및 세분화 맵을 생성함으로써, 수동 애너테이션 없이도 사전 훈련을 가능하게 한다.
• 모달리티와 공간 위치에 걸쳐 균일하게 패치를 샘플링하기 위해 고정된 마스킹 전략을 사용하며, Dirichlet 농도 매개수(α=1)를 적용한다.
• 8개의 A100 GPU에서 혼합 정밀도 훈련을 통해 엔드 투 엔드로 모델을 훈련시키며, 입력 토큰 수가 증가함에도 불구하고 훈련 효율성을 유지하기 위해 얕은 디코더를 사용한다.

실험 결과

연구 질문

• RQ1 RGB, 깊이, 세분화 정보를 함께 사전 훈련하는 통합 마스킹 오토인코더 프레임워크가 종속 전이 성능 향상에 기여하는가?
• RQ2 한 모달리티에서 다른 모달리티로 마스킹된 패치를 사용해 재구성하는 다중 모달리티 예측 코드가 단일 모달리티 사전 훈련보다 더 나은 표현을 만들어내는가?
• RQ3 분류, 세분화, 깊이 추정과 같은 다양한 종속 작업에서 MultiMAE의 성능은 단일 작업 MAE 기준 모델과 비교해 어떻게 되는가?
• RQ4 재훈련 없이도 단일 모달리티 및 다중 모달리티 종속 작업에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 가짜 레이블 데이터를 사용해 추가 모달리티를 확보함으로써, 애너테이션된 다중 모달리티 데이터셋이 없이도 효과적인 다중 모달리티 사전 훈련이 가능한가?

주요 결과

• ImageNet-1K 이미지 분류에서 MultiMAE는 상위-1 정확도 83.3%로 최신 기술 성능을 달성했으며, 최고의 단일 작업 MAE와 동일한 성능을 보였지만 다중 모달리티 기능을 갖춘다.
• ADE20K 세분화 작업에서 MultiMAE는 mIoU 46.2를 기록했으며, 최고의 단일 작업 MAE(D8)보다 0.3 포인트 높고, 뛰어난 일반화 성능를 보였다.
• NYUv2 깊이 추정에서 MultiMAE는 δ1 정확도 85.1을 기록했으며, 단일 작업 MAE(D8)보다 1.4 포인트 높게 성능을 냈고, 뚜렷한 우월성을 보였다.
• Taskonomy에서 MultiMAE는 RGB에서 세분화로의 전이 작업에서 L1 손실 1.040을 기록해 모든 기준 모델을 능가했으며, 강력한 다중 작업 일반화 성능를 입증했다.
• 비록 마스크 해제된 토큰 수가 두 배(98 vs. 49)였지만, MultiMAE의 사전 훈련 시간(6.0분/에포크)은 깊은 디코더를 가진 MAE(5.0분)와 비교해 약간 높을 뿐이며, 높은 훈련 효율성을 보였다.
• PyTorch로 훈련한 모델는 원본 Tensorflow 구현보다 略로 성능이 떨어지지만, 그 차이는 미미하여 다양한 코드베이스 간의 양호한 재현성을 보여준다.