[논문 리뷰] Revisiting Contrastive Learning for Few-Shot Classification.

Orchid Majumder, Avinash Ravichandran외 4명|arXiv (Cornell University)|2021. 01. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 51인용 수 13

한 줄 요약

이 논문은 소수의 샘플에서의 일반화 성능 향상을 위해 인스턴스 구분 기반 자기지도 학습에 감독 정보를 통합하는 CIDS라는 대비 학습 프레임워크를 제안한다. 사전 훈련 단계에서 클래스 수준의 감독 정보를 활용함으로써 CIDS는 Mini-ImageNet, Tiered-ImageNet, Meta-Dataset 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 새로운 모델 선택 전략이 성능을 추가로 향상시켰다.

ABSTRACT

Instance discrimination based contrastive learning has emerged as a leading approach for self-supervised learning of visual representations. Yet, its generalization to novel tasks remains elusive when compared to representations learned with supervision, especially in the few-shot setting. We demonstrate how one can incorporate supervision in the instance discrimination based contrastive self-supervised learning framework to learn representations that generalize better to novel tasks. We call our approach CIDS (Contrastive Instance Discrimination with Supervision). CIDS performs favorably compared to existing algorithms on popular few-shot benchmarks like Mini-ImageNet or Tiered-ImageNet. We also propose a novel model selection algorithm that can be used in conjunction with a universal embedding trained using CIDS to outperform state-of-the-art algorithms on the challenging Meta-Dataset benchmark.

연구 동기 및 목표

• 인스턴스 구분 기반 대비 학습의 일반화 능력이 소수의 샘플에서 제한되는 문제를 해결하기 위해.
• 대비 학습 프레임워크에 클래스 수준의 감독 정보를 통합하여 자기지도 학습 표현 학습을 향상시키기 위해.
• CIDS를 통해 훈련된 유니버설 임베딩과 호환되는 모델 선택 알고리즘을 개발하여 소수의 샘플에서의 성능을 향상시키기 위해.
• 낮은 샘플 수 상황에서 자기지도 학습 표현과 감독 학습 표현 간의 성능 격차를 해소하기 위해.

제안 방법

• CIDS는 대비 학습 사전 훈련 단계에서 클래스 수준의 감독 정보를 통합하여 인스턴스 구분 기반 대비 학습을 확장한다.
• 인스턴스 수준의 대비 손실과 클래스 수준의 대비 손실을 동시에 사용하는 이중 대비 목적함수를 도입하여 같은 클래스에 속하는 특징 간의 정렬을 유도한다.
• 훈련 안정성 향상과 특징 일관성 향상을 위해 모멘터럼 인코더를 사용한다.
• 유니버설 CIDS 임베딩를 기반으로 제로샷 소수의 샘플 적응을 위한 최적의 하이퍼파ram터를 식별하기 위한 새로운 모델 선택 알고리즘을 제안한다.
• 특징을 대비 공간으로 매핑하기 위해 프로젝션 헤드를 활용하며, 여기서 양의 쌍은 같은 클래스에서 유래하고 음의 쌍은 다른 클래스에서 유래한다.
• 이 방법은 ImageNet에서 엔드 투 엔드로 훈련되고, 추가적인 감독 없이 소수의 샘플 벤치마크에서 미세조정된다.

실험 결과

연구 질문

• RQ1 클래스 수준의 감독 정보를 인스턴스 구분 기반 대비 학습에 통합하면 소수의 샘플에서의 일반화 성능 향상이 가능할까?
• RQ2 CIDS는 표준 소수의 샘플 벤치마크에서 기존의 자기지도 학습 및 감독 학습 방법과 비교해 어떻게 성능을 내는가?
• RQ3 CIDS에서 유도된 유니버설 임베딩는 모델 선택 전략을 통해 새로운 소수의 샘플 작업에 효과적으로 적응할 수 있는가?
• RQ4 낮은 데이터 환경에서 감독 정보가 표현 품질에 어떤 영향을 미치는가?

주요 결과

• CIDS는 Mini-ImageNet 및 Tiered-ImageNet 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 기존의 자기지도 학습 및 감독 학습 기반 모델들을 능가한다.
• 제안된 모델 선택 알고리즘이 유니버설 CIDS 임베딩를 활용하여 도전적인 Meta-Dataset 벤치마크에서 최신 기술 수준(SOTA) 성능을 초월하는 데 성공하였다.
• 클래스 수준의 감독 정보 통합은 소수의 샘플 상황에서 인스턴스 구분 기반 대비 학습의 일반화 능력을 크게 향상시킨다.
• 이중 대비 목적함수(인스턴스 및 클래스 수준)는 표준 대비 학습 대비 더 구분력 있고 강건한 특징 표현을 이끌어낸다.