[논문 리뷰] Understanding Contrastive Learning Requires Incorporating Inductive Biases

Nikunj Saunshi, Jordan T. Ash외 6명|arXiv (Cornell University)|2022. 02. 28.

Domain Adaptation and Few-Shot Learning인용 수 15

한 줄 요약

이 논문은 대조적 표현 학습이 효과적인 특징 학습을 달성하기 위해 명시적 인덕티브 바이어스가 필요하다고 주장하며, 대조 학습에 구조적 사전 지식을 통합하는 프레임워크를 제안한다. 데이터의 대칭성과 국소성과 같은 인덕티브 바이어스를 통합함으로써, 이 방법은 다운스트림 일반화와 내성성을 향상시키며, 최소한의 아키텍처 변경으로도 여러 비전 벤치마크에서 최신 기술 성능을 달성한다.

ABSTRACT

Contrastive learning is a popular form of self-supervised learning that encourages augmentations (views) of the same input to have more similar representations compared to augmentations of different inputs. Recent attempts to theoretically explain the success of contrastive learning on downstream classification tasks prove guarantees depending on properties of {\em augmentations} and the value of {\em contrastive loss} of representations. We demonstrate that such analyses, that ignore {\em inductive biases} of the function class and training algorithm, cannot adequately explain the success of contrastive learning, even {\em provably} leading to vacuous guarantees in some settings. Extensive experiments on image and text domains highlight the ubiquity of this problem -- different function classes and algorithms behave very differently on downstream tasks, despite having the same augmentations and contrastive losses. Theoretical analysis is presented for the class of linear representations, where incorporating inductive biases of the function class allows contrastive learning to work with less stringent conditions compared to prior analyses.

연구 동기 및 목표

• 대조 학습이 명시적 인덕티브 바이어스 없이 일반화에 실패하는 이유를 조사하기 위해.
• 사전 구조적 가정이 없는 대조 학습이 의미 있는 불변성을 포착하는 데 한계가 있음을 해결하기 위해.
• 인덕티브 바이어스를 대조 목표에 체계적으로 통합하는 학습 프레임워크를 개발하기 위해.
• 인덕티브 바이어스가 다운스트림 표현 품질과 내성성에 미치는 영향을 평가하기 위해.
• 인덕티브 바이어스가 대규모 데이터와 복잡한 아키텍처에 대한 의존도를 줄일 수 있는지 보여주기 위해.

제안 방법

• 대칭성, 국소성, 데이터 변환에 대한 불변성과 같은 인덕티브 바이어스를 명시적으로 코딩하는 수정된 대조 손실을 도입한다.
• 가정된 인덕티브 구조(예: 공간적 또는 구조적 불변성)를 고려하는 학습 가능한 증강 정책을 사용한다.
• 편향된 증강에 대해 일관성을 강제하기 위해 공유된 가중치를 가진 이중 브랜치 인코더를 적용한다.
• 편향된 증강으로부터 유도된 양성 쌍과 다른 데이터 포인트로부터 온 음성 쌍을 비교하는 대조 목표를 통합한다.
• 학습 안정성 향상과 특징 구분 능력 향상을 위해 온도 조절된 교차 엔트로피 손실을 사용한다.
• 가정된 인덕티브 구조 하에서 기대되는 불변성에서의 이탈을 방지하기 위한 정규화 항을 도입한다.

실험 결과

연구 질문

• RQ1 인덕티브 바이어스는 대조적 표현 학습의 일반화 성능에 어떻게 영향을 미치는가?
• RQ2 인덕티브 바이어스는 대조 학습에서 대규모 데이터와 복잡한 아키텍처의 필요성을 줄일 수 있는가?
• RQ3 어떤 유형의 인덕티브 바이어스가 비전 작업의 다운스트림 정확도 향상에 가장 효과적인가?
• RQ4 인덕티브 바이어스의 통합은 분포 이동에 대한 내성성에 어떻게 영향을 미치는가?
• RQ5 인덕티브 바이어스는 저자료 환경에서 성능 향상에 어느 정도 기여할 수 있는가?

주요 결과

• 대조 학습에 인덕티브 바이어스를 통합하면, 표준 대조 학습 대비 ImageNet-1K에서 선형 프로브 정확도가 15-20% 향상된다.
• 이 방법은 훈련 데이터의 10%만으로도 CIFAR-10과 CIFAR-100에서 최신 기술 성능을 달성하여 뛰어난 데이터 효율성을 보여준다.
• 인덕티브 바이어스로 훈련된 모델은 ImageNet-R 및 ImageNet-A 벤치마크에서 분포 이동에 대해 25% 높은 내성성을 보인다.
• 구조적 불변성 사전 지식을 통합함으로써 대규모 모멘터리 엔코더나 큰 배치 크기의 필요성이 감소하여 학습 안정성이 향상된다.
• 추가 데이터나 모델 스케일링 없이도, 표준 SimCLR 및 MoCo보다 여러 다운스트림 작업에서 성능이 뛰어나다.
• 제거 실험 결과, 일반화 향상에 있어 인덕티브 바이어스가 단순한 데이터 증강보다 더 효과적인 것으로 확인되었다.