[논문 리뷰] Contrastive Learning with Consistent Representations

Zihu Wang, Yu Wang외 3명|arXiv (Cornell University)|2023. 02. 03.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 데이터 증강 강도에 따라 더 이상의 표현을 생성하도록 유도하는 대비 학습 프레임워크 CoCor을 제안한다. 이는 증강 강도에 따라 유사도 값을 최적화하는 데이터 기반의 단조성 신경망을 통해 달성되며, 이는 강한 증강이 더 낮은 유사도를 갖는 표현을 생성하도록 보장한다. 이 방법은 ResNet-50과 200 에포크의 사전학습을 사용하여 ImageNet에서 72.8%의 선형 평가 정확도를 기록하며 기존의 장기 사전학습 스케줄을 사용한 SOTA 방법들을 능가한다.

ABSTRACT

Contrastive learning demonstrates great promise for representation learning. Data augmentations play a critical role in contrastive learning by providing informative views of the data without necessitating explicit labels. Nonetheless, the efficacy of current methodologies heavily hinges on the quality of employed data augmentation (DA) functions, often chosen manually from a limited set of options. While exploiting diverse data augmentations is appealing, the complexities inherent in both DAs and representation learning can lead to performance deterioration. Addressing this challenge and facilitating the systematic incorporation of diverse data augmentations, this paper proposes Contrastive Learning with Consistent Representations CoCor. At the heart of CoCor is a novel consistency metric termed DA consistency. This metric governs the mapping of augmented input data to the representation space, ensuring that these instances are positioned optimally in a manner consistent with the applied intensity of the DA. Moreover, we propose to learn the optimal mapping locations as a function of DA, all while preserving a desired monotonic property relative to DA intensity. Experimental results demonstrate that CoCor notably enhances the generalizability and transferability of learned representations in comparison to baseline methods.

연구 동기 및 목표

• 대비 표현 학습에서 다양한 데이터 증강의 일관성 없는 사용으로 인한 성능 저하 문제를 해결하기 위해.
• 손으로 설정한 제한된 증강 세트에 의존하지 않고, 대규모 복합 증강을 체계적으로 통합하기 위해.
• 더 강한 증강이 점점 더 이질적인 표현을 생성하도록 보장하는 바람직한 성질을 강화하기 위해.
• 증강 조합에서 잠재 공간의 최적 유사도로의 학습 가능한 단조성 매핑을 개발하기 위해.

제안 방법

• 기본 증강의 종류, 수량, 강도를 코딩한 구성 벡터로 표현되는 복합 증강 집합 A를 도입한다.
• 데이터 증강 일관성 원칙을 정의하여, 더 강한 증강이 원본 입력보다 더 이질적인 잠재 표현을 생성해야 한다고 규정한다.
• 학습된 최적 유사도 함수에서의 이탈을 방지하기 위해, 이 원칙을 강제하는 일관성 손실을 제안한다.
• 증강 조합 벡터에서 최적 유사도 값을 출력하는 블랙박스 신경망을 훈련하기 위해 이중 최적화 프레임워크를 사용한다.
• 더 강한 증강이 항상 더 낮은 유사도 값을 생성하도록 보장하기 위해 신경망에 부분적인 단조성 제약 조건을 적용한다.
• 사전 지식 없이 비정규화된 데이터와 엔드 투 엔드 훈련을 통해 최적 유사도 함수를 데이터 기반으로 학습한다.

실험 결과

연구 질문

• RQ1 성능 저하 없이 대규모 다양성 있는 데이터 증강을 대비 학습에 체계적으로 활용할 수 있는 방법을 개발할 수 있는가?
• RQ2 증강 강도와 표현 유사도 간의 관계를 어떻게 모델링하여 잠재 공간에서의 일관성을 확보할 수 있는가?
• RQ3 증강 조합에서 유사도로의 매핑에 단조성 조건을 적용할 경우 표현 품질에 어떤 영향을 미치는가?
• RQ4 학습 가능한 데이터 기반 유사도 함수가 고정되거나 수작업으로 조정된 유사도 임계값보다 대비 학습에서 더 우수한 성능을 낼 수 있는가?

주요 결과

• CoCor는 ResNet-50와 200 에포크의 사전학습을 사용하여 ImageNet에서 선형 평가 정확도 72.8%를 기록하며, 800 에포크를 사용한 기존의 모든 베이스라인을 능가한다.
• 동일한 멀티크롭 전략을 사용하는 SwAV보다도 성능이 뛰어나, CoCor의 다양한 증강 전략이 추가적인 표현적 이점을 제공함을 시사한다.
• VOC07 객체 검출에서 CoCor는 단지 200 에포크의 사전학습으로도 24.6%의 APs를 기록하여 MoCo v2의 20.8%보다 3.8% 향상되었으며, 소형 객체 검출에 있어 더 뛰어난 일반화 능력을 보였다.
• 제거 실험 결과, 부분적인 단조성 신경망을 사용할 경우 CIFAR-10에서 선형 평가 정확도가 50.20%에서 52.04%로 향상되었으며, 이는 적응형 단조성 유사도 학습의 유용성을 확인한다.
• 단조성 신경망은 변환 유형과 강도의 변동성을 효과적으로 포착하여, 증강 강도와 표현 이질성 간의 보다 나은 정렬을 가능하게 한다.
• 이중 최적화 프레임워크는 제한된 레이블 데이터를 사용하여도 유사도 네트워크를 성공적으로 훈련시키며, 엔드 투 엔드 최적화를 통해 인코더 성능을 향상시켰다.