[논문 리뷰] Intriguing Properties of Contrastive Losses

Ting Chen, Calvin Luo외 1명|arXiv (Cornell University)|2020. 11. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 37인용 수 62

한 줄 요약

이 논문은 대비 손실을 일반화하고, 여러 객체를 갖는 인스턴스 기반 학습을 연구하며, 로컬 특징의 등장과 학습을 차단할 수 있는 특징 억제 현상을 보여준다.

ABSTRACT

We study three intriguing properties of contrastive learning. First, we generalize the standard contrastive loss to a broader family of losses, and we find that various instantiations of the generalized loss perform similarly under the presence of a multi-layer non-linear projection head. Second, we study if instance-based contrastive learning (with a global image representation) can learn well on images with multiple objects present. We find that meaningful hierarchical local features can be learned despite the fact that these objectives operate on global instance-level features. Finally, we study the phenomenon of feature suppression among competing features shared across augmented views, such as "color distribution" vs "object class". We construct datasets with explicit and controllable competing features, and show that, for contrastive learning, a few bits of easy-to-learn shared features can suppress, and even fully prevent, the learning of other sets of competing features. In scenarios where there are multiple objects in an image, the dominant object would suppress the learning of smaller objects. Existing contrastive learning methods critically rely on data augmentation to favor certain sets of features over others, and could suffer from learning saturation for scenarios where existing augmentations cannot fully address the feature suppression. This poses open challenges to existing contrastive learning techniques.

연구 동기 및 목표

• 대비 손실에 대한 이해를 확장하기 위해 정렬(alignment) 및 분포(distribution) 항을 포함하는 일반화 손실 형태를 제안하여 대비 손실에 대한 이해를 확장한다.
• 인스턴스 기반(전역) 대비 목표가 여러 객체를 포함하는 이미지로부터 학습하고도 의미 있는 로컬 특징을 도출할 수 있는지 평가한다.
• augmentation에 대한 의미적 학습 영향을 이해하기 위해 augmentation 전체에 걸친 공유 특징이 다른 특징의 학습을 억제하는 특징 억제 현상을 조사하고 그 시사점을 파악한다.
• 경쟁하는 특징을 정량화하고 쉽게 학습되는 특징이 표현 학습에 어떤 영향을 주는지 분석하기 위해 제어된 데이터셋을 구성한다.

제안 방법

• 일반화된 대비 손실의 형태를 L_generalized = L_alignment + lambda L_distribution 로 제안하고, NT-Xent를 특수한 경우로 보이는 구조를 확인한다.
• L_distribution에 다양한 사전 분포를 사용하며, LogSumExp 또는 SWD를 통한 분포 매칭으로 구현한다.
• 정렬을 H(U|V) 감소로, 분포를 엔트로피 H(U) 증가로 연결하여 상호 정보 프레이임에서 해석한다.
• 깊고 다층의 프로젝션 헤드를 사용해 구현들을 비교하고 배치 크기에 대한 민감도를 평가한다.
• SWD 기반의 구현을 도입해 균일한 초구(hypersphere) 외의 다양한 사전을 가능하게 한다.
• CIFAR-10과 ImageNet에서 SimCLR 스타일 설정으로 손실 변형과 프로젝션 헤드 깊이를 비교하는 실험을 수행한다.

실험 결과

연구 질문

• RQ1 깊은 프로젝션 헤드가 사용될 때 다양한 사전(priors)을 가진 일반화된 대비 손실이 비슷한 성능을 보일 수 있는가?
• RQ2 이미지에 다수의 객체가 포함될 때 인스턴스 기반(전역) 대비 목표가 의미 있는 로컬 특징을 학습하는가?
• RQ3 확대 보기 간 공유되는 경쟁 특징의 존재가 대비 학습에 어떻게 영향을 미치며, 쉽게 학습되는 특징이 다른 특징을 억제할 수 있는가?
• RQ4 제어된 데이터셋이 특징 억제의 정도와 현재 증강의 한계를 드러낼 수 있는가?

주요 결과

• 깊은 프로젝션 헤드를 갖춘 CIFAR-10 및 ImageNet에서 일반화된 대비 손실 간 차이는 작다.
• 인스턴스 기반 학습은 다중 객체가 있는 이미지에서도 학습할 수 있으며 전역 표현에 작용하더라도 의미 있는 로컬 특징을 회복한다.
• 명시적으로 경쟁하는 특징이 포함된 데이터셋으로 기준선을 설정하면, 쉽게 학습되는 공유 정보의 몇 비트가 다른 특징의 학습을 억제할 수 있으며 때로는 완전히 차단한다.
• 지배적인 객체가 다중 객체 시나리오에서 더 작은 객체의 학습을 억제하여 실제 환경의 혼잡 속에서 대비 방법의 남은 도전을 드러낸다.
• 뷰에 추가된 추가로 쉽게 학습되는 정보(예: 임의 비트)가 대비 학습을 완전히 무력화시킬 수 있는 반면, VAE 같은 생성 모델은 덜 영향을 받는다.
• 본 연구는 데이터 증강 설계가 어떤 특징이 학습되는지에 결정적 영향을 미치고 특징 억제가 현재 대비 접근법의 근본적 한계임을 강조한다.