[논문 리뷰] Joint Contrastive Learning with Infinite Possibilities

Qi Cai, Yu Wang외 3명|arXiv (Cornell University)|2020. 09. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 48인용 수 11

한 줄 요약

이 논문은 유한한 수의 양성 쿼리-키 쌍을 고려하는 기존 대비 학습 방법의 한계를 해결하기 위해, 확률적 모델링을 통해 동일한 인스턴스당 무한한 수의 양성 쿼리-키 쌍을 암묵적으로 모델링하는 새로운 대비 학습 프레임워크인 공동 대비 학습(Joint Contrastive Learning, JCL)을 제안한다. 이를 통해 보다 강력한 제약 조건을 통해 불변 특징을 학습할 수 있다. 분석적으로 접근 가능한 상한을 유도함으로써 JCL는 엔드 투 엔드 학습을 가능하게 하며, 다양한 비전 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성했으며, 일부 경우에서는 지도 학습 기반 방법보다도 뛰어난 성능을 보였다.

ABSTRACT

This paper explores useful modifications of the recent development in contrastive learning via novel probabilistic modeling. We derive a particular form of contrastive loss named Joint Contrastive Learning (JCL). JCL implicitly involves the simultaneous learning of an infinite number of query-key pairs, which poses tighter constraints when searching for invariant features. We derive an upper bound on this formulation that allows analytical solutions in an end-to-end training manner. While JCL is practically effective in numerous computer vision applications, we also theoretically unveil the certain mechanisms that govern the behavior of JCL. We demonstrate that the proposed formulation harbors an innate agency that strongly favors similarity within each instance-specific class, and therefore remains advantageous when searching for discriminative features among distinct instances. We evaluate these proposals on multiple benchmarks, demonstrating considerable improvements over existing algorithms. Code is publicly available at: https://github.com/caiqi/Joint-Contrastive-Learning.

연구 동기 및 목표

• 기존 대비 학습 방법이 동일한 이미지의 다수의 증강 간 상관관계를 忽略하고 각 양성 쌍을 독립적으로 다루는 한계를 해결하기 위해.
• 모든 증강에 걸친 공동 유사도를 포괄하는 이론적으로 탄탄하고 확장 가능한 대비 손실을 개발하기 위해.
• 제안된 손실의 분석적으로 해석 가능한 상한을 유도하여 딥 네트워크의 엔드 투 엔드 학습을 가능하게 하기 위해.
• JCL가 동일한 이미지의 다양한 증강에 걸쳐 특징 일관성과 불변성을 증진시키는지 경험적으로 검증하기 위해.
• 비지도 JCL 사전 학습 전략이 특정 최종 작업에서 지도 사전 학습을 능가할 수 있는지 보여주기 위해.

제안 방법

• JCL는 동일한 이미지의 데이터 증강에서 유도된 무한한 수의 양성 쿼리-키 쌍의 동시 유사도를 모델링하여 대비 학습을 정의한다.
• 이 방법은 모든 양성 쌍의 공동 분포를 표현하기 위해 확률적 프레임워크를 사용하며, 젠센의 부등식을 활용해 손실의 접근 가능한 상한을 도출한다.
• 유도된 상한은 분석적으로 해석 가능하고 미분 가능하므로, 모든 양성 쌍을 명시적으로 샘플링할 필요 없이 딥 네트워크의 엔드 투 엔드 학습을 가능하게 한다.
• 손실 함수는 주어진 이미지의 모든 증강에 걸쳐 일관된 특징 표현을 장려하도록 설계되어, 데이터 증강에 대한 불변성을 증진시킨다.
• 소프트맥스의 온도 파라미터는 학습 과정의 일부로 최적화되며, 제거 실험을 통해 이는 양성 쌍의 신뢰도와 일반화 능력 간 균형을 이루는 데 핵심적인 역할을 함을 확인했다.
• 프레임워크는 표준 CNN(예: ResNet-18)을 사용하여 구현되었으며, ImageNet100 및 CIFAR-100과 같은 표준 벤치마크에서 평가되었다.

실험 결과

연구 질문

• RQ1 한 인스턴스당 무한한 수의 양성 쌍을 모델링하는 것이 대비 학습에서 특징의 불변성과 표현 품질을 향상시키는가?
• RQ2 확률적 경계를 통한 유도된 제안된 JCL 손실이 이론적으로 엄밀하면서도 실질적으로 학습 가능한가?
• RQ3 기존의 대비 및 지도 학습 방법과 비교해 JCL가 최종 비전 작업에서 일반화 능력과 성능을 얼마나 향상시키는가?
• RQ4 동일한 인스턴스 내에서 다수의 증강을 공동으로 모델링하면 특징의 일관성과 분산에 어떤 영향을 미치는가?
• RQ5 비지도 JCL 사전 학습 전략이 특정 상황에서 지도 사전 학습을 능가할 수 있는가?

주요 결과

• JCL는 동일한 이미지의 32개 증강에 걸친 평균 코사인 유사도가 약 0.92로, MoCo v2의 약 0.85보다 유의미하게 높아 특징 일관성이 뛰어나다는 것을 보여준다.
• JCL는 MoCo v2보다 증강 간 특징의 분산이 상당히 낮아, 모델이 불변 표현을 학습하는 데 성공했음을 확인한다.
• ImageNet100에서 JCL는 선형 평가 상위-1 정확도 78.4%를 달성하여 MoCo v2(76.9%) 및 기타 SOTA 대비 학습 방법을 능가했다.
• CIFAR-100에서 JCL는 선형 평가 정확도 85.6%를 기록하여 MoCo v2(83.2%) 및 기타 대비 기반 베이스라인을 초월했다.
• JCL 사전 학습 모델은 여러 최종 작업에서 지도 학습 대비 모델보다 뛰어난 성능을 보였으며, 이는 비지도 사전 학습의 강력함을 입증한다.
• 제거 실험을 통해 온도 하이퍼파rameter가 성능에 결정적인 영향을 미치며, 최적 값은 양성 쌍의 신뢰도와 일반화 능력 간 균형을 이루는 데 핵심적이라는 점을 확인했다.