[논문 리뷰] Layer Grafted Pre-training: Bridging Contrastive Learning And Masked Image Modeling For Label-Efficient Representations

Ziyu Jiang, Yinpeng Chen외 6명|arXiv (Cornell University)|2023. 02. 27.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 기울기 갈등을 방지하기 위해 하위층에는 마스크된 이미지 모델링(MIM)을 순차적으로 적용하고 상위층에는 대비 학습(CL)을 적용하는 새로운 방법인 레이어 접합 사전학습(Layer Grafted Pre-training)을 제안한다. MIM으로 사전학습한 하위층을 접합하고 CL로 상위층을 미세조정함으로써, 상태의 기준을 넘는 레이블 효율성을 달성하며, 단지 1%의 레이블된 데이터로 ImageNet-1k에서 65.5%의 Top-1 정확도를 달성한다—이것은 MIM 기준보다 14.4% 높고 CL 기준보다 2.1% 높은 성능이다.

ABSTRACT

Recently, both Contrastive Learning (CL) and Mask Image Modeling (MIM) demonstrate that self-supervision is powerful to learn good representations. However, naively combining them is far from success. In this paper, we start by making the empirical observation that a naive joint optimization of CL and MIM losses leads to conflicting gradient directions - more severe as the layers go deeper. This motivates us to shift the paradigm from combining loss at the end, to choosing the proper learning method per network layer. Inspired by experimental observations, we find that MIM and CL are suitable to lower and higher layers, respectively. We hence propose to combine them in a surprisingly simple, "sequential cascade" fashion: early layers are first trained under one MIM loss, on top of which latter layers continue to be trained under another CL loss. The proposed Layer Grafted Pre-training learns good visual representations that demonstrate superior label efficiency in downstream applications, in particular yielding strong few-shot performance besides linear evaluation. For instance, on ImageNet-1k, Layer Grafted Pre-training yields 65.5% Top-1 accuracy in terms of 1% few-shot learning with ViT-B/16, which improves MIM and CL baselines by 14.4% and 2.1% with no bells and whistles. The code is available at https://github.com/VITA-Group/layerGraftedPretraining_ICLR23.git.

연구 동기 및 목표

• 자기지도 학습 표현 학습에서 마스크된 이미지 모델링(MIM)과 대비 학습(CL)을 동시에 최적화할 때 발생하는 본질적 갈등을 해결하기 위해.
• MIM과 CL이 특징 학습에서 국소적 세부 정보 대비 의미적 불변성에 대해 계층적으로 다른 선호도를 보이는지 조사하기 위해.
• MIM과 CL을 순차적이고 갈등 없는 방식으로 전략적으로 조합하여, 특히 소수의 샘플과 선형 평가에서의 레이블 효율성을 향상시키기 위해.
• 단순한 계단식 학습 전략—MIM을 먼저 적용하고, 그 다음에 CL을 적용하는 방식—이 공동 최적화 및 기존 사전학습 체계보다 뛰어나며, 추가 구성 요소 없이도 성능을 뛰어넘는다는 것을 입증하기 위해.

제안 방법

• 하위층은 마스크된 재구성 방식을 통해 국소적 공간적 구조와 세밀한 세부 정보를 포착하기 위해 MIM 손실을 사용하여 훈련한다.
• MIM 사전학습 후, 하위층은 부분적으로 미세조정되고 상위층은 CL 손실을 통해 의미적 불변성과 군집화 구조를 학습하기 위해 훈련된다.
• 하위층의 조정을 점진적으로 허용함으로써, 학습된 표현에 대한 교란을 줄이기 위해 접합 과정을 '부드럽게' 조정한다.
• MIM과 CL 손실을 서로 다른 네트워크 깊이 수준에 분리함으로써, 공동 최적화가 아닌 방식으로 기울기 갈등을 피한다.
• 이 방법은 순차적 캐스케이드 방식을 따르며, MIM은 먼저 초기층에 적용되고, 그 다음에 깊이 있는 층에 CL이 적용되며, 이 순서가 핵심적이다.
• 표준 벤치마크인 ImageNet-1k을 사용하여 평가되며, 레이블 효율성을 평가하기 위해 선형 평가 및 소수 샘플 미세조정 프로토콜을 활용한다.

실험 결과

연구 질문

• RQ1 MIM과 CL이 공동 최적화될 때, 특히 더 깊은 네트워크 층에서 기울기 방향이 갈등을 보이나?
• RQ2 비전 트랜스포머의 하위층과 상위층이 서로 다른 자기지도 학습 목표를 선호하는가—특히 MIM은 하위층에 더 유용하고 CL은 상위층에 더 유용한가?
• RQ3 MIM을 먼저 적용하고 CL을 이어가는 순차적이고 계층적인 적용 방식이 공동 최적화 및 표준 사전학습 베이스라인보다 레이블 효율 학습에서 뛰어난 성능을 내는가?
• RQ4 MIM과 CL을 적용하는 순서가 최종 표현 품질과 후행 작업 성능에 영향을 미치는가?
• RQ5 MIM과 CL을 조합하는 단순하고 모듈화된 사전학습 전략이 추가 구성 요소 없이도 최신 기술 수준의 소수 샘플 성능을 달성할 수 있는가?

주요 결과

• 제안된 레이어 접합 사전학습은 1%의 소수 샘플 학습 조건에서 ImageNet-1k에서 65.5%의 Top-1 정확도를 달성하며, MIM 기준보다 14.4% 높고 CL 기준보다 2.1% 높다.
• 선형 평가에서 이 방법은 74.9%의 Top-1 정확도를 기록했으며, MIM 기준보다 9.7% 높고 CL 기준보다 1.0% 높다.
• 성능 향상은 특히 낮은 데이터 환경에서 두드러지며, 이는 본 방법의 뛰어난 레이블 효율성을 확인한다.
• 제거 분석 결과, CL을 먼저 적용하고 MIM을 적용하는 순서를 뒤집는 것은 성능 저하를 야기하며, 계층별 손실 할당의 중요성을 입증한다.
• 이 방법은 깊은 층에서 심각한 기울기 갈등이 발생하기 때문에 MIM과 CL을 공동 최적화 방식으로 직접 조합할 수 없다는 것을 보여준다.
• 성공의 이유는 초기 층에서 국소적 구조를 위해 MIM을, 더 깊은 층에서 의미적 불변성을 위해 CL을 전략적으로 분리함으로써, 갈등하는 최적화 신호를 피하는 데 있다.