[논문 리뷰] Mutual Contrastive Learning for Visual Representation Learning

Chuanguang Yang, Zhulin An외 2명|arXiv (Cornell University)|2021. 04. 26.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 상호 대비 학습(MCL)을 제안하며, 상호 대비 학습(ICL)을 통해 다수의 네트워크 간 상호 지식 전이를 가능하게 하는 협업형 프레임워크이다. 네트워크 간 상호 정보의 하한을 최대화하고, 교차 네트워크 임bedding에서 유도된 소프트 대비 분포를 사용함으로써, MCL은 지도 학습 및 자기지도 학습 벤치마크 전반에서 일관된 정확도 향상을 달성하며, CIFAR-100에서 이전 방법보다 최대 0.67% 향상되고 ImageNet에서 최대 0.36% 향상된다.

ABSTRACT

We present a collaborative learning method called Mutual Contrastive Learning (MCL) for general visual representation learning. The core idea of MCL is to perform mutual interaction and transfer of contrastive distributions among a cohort of networks. A crucial component of MCL is Interactive Contrastive Learning (ICL). Compared with vanilla contrastive learning, ICL can aggregate cross-network embedding information and maximize the lower bound to the mutual information between two networks. This enables each network to learn extra contrastive knowledge from others, leading to better feature representations for visual recognition tasks. We emphasize that the resulting MCL is conceptually simple yet empirically powerful. It is a generic framework that can be applied to both supervised and self-supervised representation learning. Experimental results on image classification and transfer learning to object detection show that MCL can lead to consistent performance gains, demonstrating that MCL can guide the network to generate better feature representations. Code is available at https://github.com/winycg/MCL.

연구 동기 및 목표

• 단일 네트워크 대비 학습의 한계를 해결하기 위해 다수의 네트워크 간 협업 학습을 가능하게 하기 위해.
• 상호 작용을 통한 네트워크 간 대비 지식 전이를 통해 특징 표현 품질을 향상시키기 위해.
• 지도 학습 및 자기지도 학습 시각적 표현 학습에 모두 적용 가능한 일반적인 프레임워크를 개발하기 위해.
• 교차 네트워크 대비 분포가 내부 네트워크 분포보다 더 정보가 풍부한가를 입증하기 위해.
• 서로 다른 네트워크의 대비 분포 상호 모방이 이미지 분류 및 객체 검출 작업의 최종 성능을 향상시키는가를 검증하기 위해.

제안 방법

• 기존 대비 학습(VCL)과 상호 대비 학습(ICL)을 통합한 통합 프레임워크로 상호 대비 학습(MCL)을 제안한다.
• ICL을 도입하여 두 개의 서로 다른 네트워크에서 유도된 임베딩 간의 대비 유사도 분포를 형성하고, 이들의 상호 정보의 하한을 최대화한다.
• 교차 네트워크 소프트맥스 기반 대비 분포에서 유도된 소프트 레이블을 사용하여 피어 네트워크 간 상호 감독을 가능하게 한다.
• 네트워크 간 대비 분포를 정렬함으로써 상호 모방을 적용하고, 이를 지식 정착의 소프트 레이블로 간주한다.
• 내부 네트워크 및 외부 네트워크 대비 신호를 모두 활용하는 단일 학습 목표로 VCL과 ICL을 통합한다.
• 동일한 모멘타임 인코더를 공유하는 네트워크 집단을 활용하여 자기지도 설정에서 안정적인 학습과 지식 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 다수의 네트워크 간 상호 대비 학습이 단일 네트워크 대비 학습을 초월하여 시각적 표현 학습을 향상시킬 수 있는가?
• RQ2 특징 품질 측면에서 교차 네트워크 대비 분포 집계는 내부 네트워크 대비 학습보다 어떻게 비교되는가?
• RQ3 대비 분포의 상호 모방이 더 나은 일반화 및 최종 성능을 이끌어내는가?
• RQ4 MCL에서 성능 포화를 달성하기 위해 최적의 네트워크 수는 얼마인가?
• RQ5 MCL은 지도 학습 및 자기지도 학습 표현 학습에 효과적으로 적용될 수 있는가?

주요 결과

• MCL은 다양한 아키텍처에서 CIFAR-100에서 이전 최고 성능(SOTA) 방법인 MVCL보다 평균 0.67% 향상된 정확도를 달성한다.
• ImageNet에서는 기준 모델보다 ResNet-18 정확도를 0.36% 향상시켜 이전 SOTA를 초월한다.
• 자기지도 학습에서 MCL은 MoCo에 0.59% 향상되고 MoCoV2에 0.46% 향상되어 광범위한 적용 가능성을 입증한다.
• 제거 분석 결과 ICL 및 그 소프트 레이블은 VCL 및 그 소프트 레이블보다 더 효과적이며, 평균 0.64% 정확도 향상을 제공한다.
• 성능 포화는 M=5개의 네트워크에서 발생하여, CIFAR-100에서 다섯 개를 초월하면 수익 감소가 나타난다.
• T-SNE 시각화 결과 MCL은 네트워크 간 더 분류 가능한 유사한 임베딩 공간을 만들어내어 효과적인 지식 전이를 나타낸다.