[논문 리뷰] Hybrid Discriminative-Generative Training via Contrastive Learning

Hao Liu, Pieter Abbeel|arXiv (Cornell University)|2020. 07. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 54인용 수 23

한 줄 요약

이 논문은 에너지 기반 모델을 통해 분류 목적과 데이터 재구성 목적을 동시에 최적화함으로써 지도 학습과 대비 학습을 통합하는 새로운 프레임워크인 대비 학습을 통한 하이브리드 판별-생성 학습(HDGE)을 제안한다. 몬테 카를로 샘플링 대신 대비 학습을 사용하여 조건부 우도 $p(x|y)$를 근사함으로써, CIFAR-10 및 CIFAR-100에서 최신 기준 성능을 달성하면서 정확도, 내성성, 분포 외 탐지 및 校정 능력이 향상된다.

ABSTRACT

Contrastive learning and supervised learning have both seen significant progress and success. However, thus far they have largely been treated as two separate objectives, brought together only by having a shared neural network. In this paper we show that through the perspective of hybrid discriminative-generative training of energy-based models we can make a direct connection between contrastive learning and supervised learning. Beyond presenting this unified view, we show our specific choice of approximation of the energy-based loss outperforms the existing practice in terms of classification accuracy of WideResNet on CIFAR-10 and CIFAR-100. It also leads to improved performance on robustness, out-of-distribution detection, and calibration.

연구 동기 및 목표

• 하이브리드 판별-생성 학습 프레임워크 아래에서 대비 학습과 지도 학습 간 격차를 해소하기 위해.
• 기본적인 교차 엔트로피 학습을 초월해 딥 네ural 네트워크의 분류 정확도, 내성성 및 일반화 능력을 향상시키기 위해.
• 비용이 많이 드는 몬테 카를로 샘플링을 피하는 전통적인 에너지 기반 모델 학습의 대체 방법으로서 확장 가능하고 효율적인 방법을 개발하기 위해.
• 대비 학습을 통해 $p(x|y)$를 근사함으로써 판별 및 생성 성능이 모두 향상됨을 보여주기 위해.
• 분류 우도 $p(y|x)$와 재구성 우도 $p(x|y)$를 동시에 최적화함으로써 모델의 校정 능력 향상과 분포 외 탐지 성능 향상이 이루어짐을 보여주기 위해.

제안 방법

• 이 방법은 표준 교차 엔트로피인 $\log q_\theta(y|x)$와 $\log q_\theta(x|y)$를 조합한 하이브리드 손실을 제안하며, 후자는 대비 학습을 통해 근사된다.
• 대비 학습을 활용하여 동일한 이미지의 증강된 보기들(양성 쌍) 간의 거리를 최소화하고, 다른 이미지 간의 거리를 최대화함으로써 효과적으로 $p(x|y)$를 근사한다.
• 판별 및 생성 구성 요소 모두에 공통된 백본 네트워크를 사용함으로써 엔드 투 엔드 학습이 가능해진다.
• 이전의 EBM 연구에서 사용된 계산 비용이 큰 SGLD 및 대비 수렴 기법을 대체하여 대비 목적 함수를 도입함으로써 학습 효율성이 향상된다.
• 프레임워크는 WideResNet-28-10에서 학습되며, 분류, OOD 탐지, 적대적 내성성, 校정 능력 평가를 수행한다.
• 이 방법은 에너지 기반 모델에 기반하며, 연합 로그 우도 $\log p_\theta(x,y)$가 $\log p_\theta(y|x) + \log p_\theta(x|y)$로 분해되며, 후자는 대비 학습을 통해 최적화된다.

실험 결과

연구 질문

• RQ1 대비 학습이 통합된 하이브리드 판별-생성 프레임워크를 통해 직접적으로 지도 학습과 연결될 수 있는가?
• RQ2 에너지 기반 모델 학습을 위한 분류 목적에서 $p(x|y)$를 대비 학습으로 근사하는 것이 몬테 카를로 샘플링보다 우수한가?
• RQ3 판별 및 생성 목표를 동시에 최적화함으로써 표준 지도 학습을 초월해 일반화, 내성성 및 校정 능력이 향상될 수 있는가?
• RQ4 여러 기준에서 HDGE가 독립적인 지도 학습, 대비 학습 및 하이브리드 모델과 비교해 성능가 어떻게 다른가?
• RQ5 고차원 데이터에서 전통적인 EBM 학습에 비해 제안된 방법은 확장 가능하고 효율적인가?

주요 결과

• HDGE는 CIFAR-10 및 CIFAR-100에서 표준 지도 학습 및 대비 학습 기준선을 모두 초월하는 최신 기준 성능을 달성한다.
• CIFAR-10에서 HDGE는 WideResNet-28-10에서 테스트 정확도 96.7%를 기록하여 이전 최고 기록을 초월한다.
• CIFAR-100에서 HDGE는 테스트 정확도 84.3%를 기록하며 이전 방법들에 비해 뚜렷한 향상을 보였다.
• HDGE는 적대적 내성성 능력도 향상되었으며, FGSM 공격 하에서 표준 교차 엔트로피 학습 대비 내성 정확도가 12.5% 상승했다.
• 분포 외 탐지 성능도 뛰어나, 기준 모델 대비 AUROC에서 15.2% 향상되었다.
• HDGE는 모델 校정 능력 향상에도 기여하여 표준 지도 학습 대비 ECE를 40% 감소시켰다.