[논문 리뷰] RevColV2: Exploring Disentangled Representations in Masked Image Modeling

Qi Han, Yuxuan Cai외 1명|arXiv (Cornell University)|2023. 09. 02.

Advanced Neural Network Applications인용 수 6

한 줄 요약

RevColV2는 마스크된 이미지 모델링(MIM)에서 가역 다중 컬럼 설계를 통해 분리된 저수준 및 의미론적 표현을 학습하기 위해 사전 훈련 및 미세조정 중에도 인코더와 디코더를 유지하는 통합 오토인코더 아키텍처를 제안한다. 전체 오토인코더를 유지하고 대칭적인 하향식 및 상향식 가역 컬럼을 통해 점진적인 분리 학습을 가능하게 함으로써, 태스크 전용 어댑터 없이도 이미지 분류, 세분화, 객체 검출에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Masked image modeling (MIM) has become a prevalent pre-training setup for vision foundation models and attains promising performance. Despite its success, existing MIM methods discard the decoder network during downstream applications, resulting in inconsistent representations between pre-training and fine-tuning and can hamper downstream task performance. In this paper, we propose a new architecture, RevColV2, which tackles this issue by keeping the entire autoencoder architecture during both pre-training and fine-tuning. The main body of RevColV2 contains bottom-up columns and top-down columns, between which information is reversibly propagated and gradually disentangled. Such design enables our architecture with the nice property: maintaining disentangled low-level and semantic information at the end of the network in MIM pre-training. Our experimental results suggest that a foundation model with decoupled features can achieve competitive performance across multiple downstream vision tasks such as image classification, semantic segmentation and object detection. For example, after intermediate fine-tuning on ImageNet-22K dataset, RevColV2-L attains 88.4% top-1 accuracy on ImageNet-1K classification and 58.6 mIoU on ADE20K semantic segmentation. With extra teacher and large scale dataset, RevColv2-L achieves 62.1 box AP on COCO detection and 60.4 mIoU on ADE20K semantic segmentation. Code and models are released at https://github.com/megvii-research/RevCol

연구 동기 및 목표

• 마스크된 이미지 모델링(MIM)에서 사전 훈련과 미세조정 간의 일관성 문제를 해결하기 위해, 일반적으로 버려지는 디코더로 인한 정보 손실과 얽힌 특징을 방지한다.
• 사전 훈련과 미세조정 전반에 걸쳐 통합 오토인코더 아키텍처를 유지하여 학습된 표현을 보존하고 이식성을 향상시킨다.
• 가역 다중 컬럼 아키텍처가 MIM 사전 훈련 중 저수준 및 의미론적 특징의 분리 학습에 어떻게 기여할 수 있는지 탐구한다.
• 분리된 표현 학습이 분류, 세분화, 검출과 같은 다양한 비전 작업의 최종 성능을 향상시키는지 입증한다.

제안 방법

• 손실이 없는 이중 방향 특징 전파를 가능하게 하기 위해 하향식 가역 컬럼 인코더와 상향식 가역 컬럼 디코더를 갖춘 대칭 오토인코더를 설계한다.
• 하향식 및 상향식 컬럼 간에 가역 연결을 도입하여 기울기 흐름을 보장하고 분리된 특징 학습을 지원한다.
• 상향식 디코더의 끝에서 복원 손실을 사용하여 계층적 정보 흐름을 통해 저수준 특징은 하단으로, 의미론적 특징은 상단으로 유도한다.
• 미세조정 중에도 전체 오토인코더를 유지하여, 재훈련이나 어댑터 삽입 없이도 디코더가 최종 태스크 특징에 기여하도록 한다.
• 공정한 아키텍처 및 훈련 스케줄 비교를 위해 일관된 FLOPs를 갖는 다양한 규모의 모델(예: RevColV2-L)을 구성한다.
• 성능 향상을 위해 강력한 디스틸레이션 신호(예: CLIP)와 대규모 데이터셋(예: ImageNet-22K)을 활용한다.

실험 결과

연구 질문

• RQ1 사전 훈련과 미세조정 중에도 디코더를 유지하는 통합 오토인코더 아키텍처가 인코더 전용 MIM 방법에 비해 최종 성능을 향상시킬 수 있는가?
• RQ2 RevColV2의 가역 다중 컬럼 설계가 MIM 사전 훈련 중 저수준 및 의미론적 특징의 효과적인 분리에 기여하는가?
• RQ3 RevColV2의 분리된 표현 학습 방식이 분류, 세분화, 검출과 같은 다양한 비전 작업 간의 이식성에 어떤 영향을 미치는가?
• RQ4 훈련 스케줄의 길이가 RevColV2 모델의 최종 성능에 어떤 영향을 미치는가?

주요 결과

• ImageNet-22K에서 중간 단계 미세조정 후 RevColV2-L은 ImageNet-1K 이미지 분류에서 88.4%의 top-1 정확도를 달성한다.
• 추가적인 디스틸레이션과 대규모 사전 훈련을 거친 후 RevColV2-L은 COCO 객체 검출에서 62.1 box AP, ADE20K 세분화에서 60.4 mIoU를 기록한다.
• 절단 실험을 통해 가역 다중 컬럼 디코더가 표준 MAE, UNet 스타일, 비가역 컬럼 디코더보다 우수한 성능을 내며, ImageNet-1K에서 84.1%의 top-1 정확도를 달성한다.
• 더 긴 사전 훈련 스케줄(1600 에포크)은 상당한 성능 향상을 가져온다. 대규모 모델의 경우 300 에포크 대비 +1.1% 정확도 향상로, 장기 훈련을 통해 전체 최적화 잠재력이 해방됨을 시사한다.
• 분리된 특징을 갖춘 통합 아키텍처는 분류, 세분화, 검출 등 여러 태스크에서 일관되게 성능 향상을 이끌어내며, 최종 적응 과정에서 인코더와 디코더를 모두 유지하는 것이 유리함을 입증한다.