[논문 리뷰] PAC-Bayesian Contrastive Unsupervised Representation Learning

Kento Nozawa, Pascal Germain외 1명|arXiv (Cornell University)|2019. 10. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 5

한 줄 요약

이 논문은 비독립 동일 분포(non-iid) 설정으로까지 확장된 Arora 등이 제안한 일반화 경계를 활용하여, 대비적 비지도 표현 학습(CURL)을 위한 PAC-Bayesian 프레임워크를 제안한다. 새로운 비어 있지 않은 일반화 경계를 유도하고, 이러한 경계를 최소화하는 새로운 알고리즘을 제안하여, CIFAR-100 및 AUSLAN에서 기존 작업보다 더 날카운 경계를 확보하면서도 경쟁 가능한 성능을 달성한다.

ABSTRACT

Contrastive unsupervised representation learning (CURL) is the state-of-the-art technique to learn representations (as a set of features) from unlabelled data. While CURL has collected several empirical successes recently, theoretical understanding of its performance was still missing. In a recent work, Arora et al. (2019) provide the first generalisation bounds for CURL, relying on a Rademacher complexity. We extend their framework to the flexible PAC-Bayes setting, allowing us to deal with the non-iid setting. We present PAC-Bayesian generalisation bounds for CURL, which are then used to derive a new representation learning algorithm. Numerical experiments on real-life datasets illustrate that our algorithm achieves competitive accuracy, and yields non-vacuous generalisation bounds.

연구 동기 및 목표

• 대비적 비지도 표현 학습(CURL)에 대한 이론적 이해 부족, 특히 비독립 동일 분포 설정에서의 문제를 해결하기 위해.
• Arora 등이 제안한 라데마처 기반 일반화 경계를 더 유연하고 적용 가능한 PAC-Bayes 프레임워크로 확장하기 위해.
• 강건한 모델을 훈련시키는 데 사용할 수 있는 새로운 비어 있지 않은 일반화 경계를 CURL에 대해 도출하기 위해.
• 이러한 PAC-Bayesian 경계를 최소화하는 기반으로 하는 새로운 표현 학습 알고리즘을 개발하기 위해.
• 실제 데이터셋에서 제안된 방법을 경험적으로 검증하여, 경쟁 가능한 성능과 비어 있지 않은 일반화 경계를 동시에 확보하기 위해.

제안 방법

• 비독립 동일 분포 데이터 분포를 허용하는 대비적 비지도 표현 학습을 위한 일반화 경계를 도출하기 위해 PAC-Bayesian 프레임워크를 채택한다.
• 일반화 경계를 경험적 위험, 사전과 사후 분포 간의 KL 발산, 그리고 정규화 항의 함수로 설정한다.
• 경계를 모델 가중치에 대한 사후 분포를 훈련시키는 목적 함수로 활용하여, 불확실성 인식 표현 학습을 가능하게 한다.
• 표현 네트워크 가중치에 대해 파arameterized 사후(Gaussian)를 도입하고, 평균과 분산을 확률적 경사 하강법으로 최적화한다.
• PAC-Bayesian 경계를 최소화하는 훈련 절차를 구현하며, 위험과 복잡도를 균형 잡는 하이퍼파rameter λ를 포함한다.
• 실제 데이터셋(CIFAR-100 및 AUSLAN)에 이 방법을 적용하여, 다양한 사후 선택 전략(s-valid, det-valid, PB) 간의 성능과 경계를 비교한다.

실험 결과

연구 질문

• RQ1 PAC-Bayesian 일반화 경계는 독립 동일 분포(iid) 및 비독립 동일 분포(non-iid) 설정 모두에서 대비적 비지도 표현 학습에 성공적으로 확장될 수 있는가?
• RQ2 PAC-Bayesian 경계를 최소화하는 것이 비어 있지 않은 일반화 보장을 갖는 실용적이고 효과적인 표현 학습 알고리즘을 도출하는 데 기여하는가?
• RQ3 기존의 라데마처 복잡도 기반 경계와 비교해 볼 때, 제안된 경계는 날카움과 경험적 성능 측면에서 어떻게 비교되는가?
• RQ4 이 방법은 실제 세계 데이터셋에서 경쟁 가능한 하류 분류 정확도를 달성하면서도 비어 있지 않은 일반화 경계를 유지할 수 있는가?
• RQ5 다양한 사후 선택 전략(PB 대비 det-valid 등)은 일반화 경계와 지도 학습 정확도 사이의 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• 제안된 PAC-Bayesian 일반화 경계는 CIFAR-100과 AUSLAN 양쪽 모두에서 비어 있지 않으며, 특히 PB(PAC-Bayes) 파라미터 선택 기준을 사용할 때 가장 날카운 경계를 달성한다.
• CIFAR-100에서 PB 방법은 테스트 정확도 68.7% (TOP-1) 및 88.9% (TOP-5)를 기록하여 최신의 CURL 방법과 경쟁 가능한 성능을 보였다.
• CIFAR-100에서 PB 방법의 일반화 경계는 0.437, AUSLAN에서는 0.361로, 기준선 경계보다 현저히 날카웠다.
• 모든 모델에서 경험적 위험과 테스트 위험 간 격차가 일관되게 작게 유지되어, 경계 최소화 과정이 과적합 경향이 없음을 시사한다.
• PB 방법은 가장 날카운 경계를 제공했지만, 검증 세트 기반 방법 대비 略적으로 낮은 지도 학습 정확도를 기록하여, 보수적인 학습 행동을 보였다.
• 사후 분포가 사전 분포에서 얼마나 떨어져 있는지를 나타내는 KL 발산이 크게 감소했다 (예: CIFAR-100에서 PB는 1,333, s-valid는 32,756), 이는 더 나은 사후 정규화를 의미한다.