[논문 리뷰] Hybrid Generative-Contrastive Representation Learning

Saehoon Kim, Sungwoong Kim외 1명|arXiv (Cornell University)|2021. 06. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 51인용 수 5

한 줄 요약

이 논문은 단일 트랜스포머 기반 인코더-디코더 아키텍처에서 대비적 및 생성적 목표를 동시에 최적화하는 하이브리드 프레임워크인 생성-대비 표현 학습(GCRL)을 제안한다. 인코더의 풀링된 특징에 대해 인스턴스 수준의 대비 손실을 적용하고 디코더 출력에 대해 자동회귀적 가능도 손실을 적용함으로써 GCRL은 분류 성능과 분포 이탈에 대한 강건성을 향상시켜 순수한 대비적 및 생성적 사전학습보다 이미지 분류 및 OOD 탐지 작업에서 뛰어난 성능을 달성한다.

ABSTRACT

Unsupervised representation learning has recently received lots of interest due to its powerful generalizability through effectively leveraging large-scale unlabeled data. There are two prevalent approaches for this, contrastive learning and generative pre-training, where the former learns representations from instance-wise discrimination tasks and the latter learns them from estimating the likelihood. These seemingly orthogonal approaches have their own strengths and weaknesses. Contrastive learning tends to extract semantic information and discards details irrelevant for classifying objects, making the representations effective for discriminative tasks while degrading robustness to out-of-distribution data. On the other hand, the generative pre-training directly estimates the data distribution, so the representations tend to be robust but not optimal for discriminative tasks. In this paper, we show that we could achieve the best of both worlds by a hybrid training scheme. Specifically, we demonstrated that a transformer-based encoder-decoder architecture trained with both contrastive and generative losses can learn highly discriminative and robust representations without hurting the generative performance. We extensively validate our approach on various tasks.

연구 동기 및 목표

• 비지도 표현 학습에서 분류 성능와 강건성 간의 상충 관계를 해결한다.
• 기존 사전학습 프레임워크에서 대비적 및 생성적 목표 간의 부적합성을 극복한다.
• 저자료 및 분포 이탈 설정에서의 일반화 능력과 불확실성 캘리브레이션을 향상시킨다.
• 강력한 생성 성능를 유지하면서 동시에 다운스트림 분류 정확도를 향상시킨다.
• 특수 모듈이나 인덕티브 바이어스 없이 통합적이고 파rameter 효율적인 훈련 방식을 가능하게 한다.

제안 방법

• 표준 트랜스포머 블록을 인코더-디코더 아키텍처로 재해석하여 표현 학습 역할을 분리한다.
• 인코더에서 얻은 [CLS]-토큰 특징에 대해 대비 손실을 적용하여 인스턴스 식별을 수행한다.
• 디코더 출력에 대해 자동회귀적 가능도 손실을 적용하여 입력 이미지를 재구성한다.
• 두 단계로 훈련: 첫 번째로 생성 손실만 사용(100 에포크), 두 번째로 두 손실 모두 사용(100 에포크).
• 정규적인 데이터 증강 기법(예: 무작위 컷, 플립)을 사용하여 SimCLR와의 공정한 비교를 확보한다.
• 추가적인 아키텍처 수정 없이 트랜스포머의 인덕티브 바이어스를 활용한다.

실험 결과

연구 질문

• RQ1 대비적 및 생성적 목표가 비지도 표현 학습 프레임워크에서 효과적으로 통합될 수 있는가?
• RQ2 단일 목표 사전학습에 비해 병합 최적화가 다운스트림 분류 정확도를 향상시키는가?
• RQ3 하이브리드 접근 방식이 분포 이탈에 대한 강건성과 불확실성 캘리브레이션을 향상시키는가?
• RQ4 생성 목표를 추가함으로써 약한 증강 조건에서 대비 학습의 과적합을 방지할 수 있는가?
• RQ5 우수한 분류 특징를 확보하면서도 강력한 생성 성능를 유지할 수 있는가?

주요 결과

• GCRL은 선형 평가에서 CIFAR-10에서 94.12%의 정확도, CIFAR-100에서 74.03%의 정확도를 기록하여 ResNet-18(93.60%) 및 iGPT(89.79% 및 67.09%)를 초월한다.
• GCRL은 CIFAR-10에서 기대 캘리브레이션 오차(ECE)를 0.0337로 줄였고, CIFAR-100에서는 0.0725로 기록하여 iGPT 및 ResNet보다 더 나은 불확실성 캘리브레이션을 보였다.
• OOD 탐지에서 GCRL은 SimCLR 및 iGPT보다 높은 AUROC와 AUPR를 기록하여 더 뛰어난 강건성을 입증했다.
• 절단 실험에서 GCRL은 약한 증강 조건에서도 과적합을 줄이며 생성 성능를 유지했으며, 안정적인 테스트 손실과 낮은 ECE로 확인되었다.
• 쉬운 전조업무(예: 80% 컷 비율) 조건에서도 GCRL은 SimCLR의 손실이 400 에포크 이후 증가하는 것과는 달리 과적합을 방지하는 것으로 나타났다.
• 특수한 아키텍처 수정이나 전용 구성 요소 없이도 선형 평가 및 OOD 탐지에서 최신 기술 수준의 성능를 달성했다.