[논문 리뷰] Positive Unlabeled Contrastive Learning

Anish Acharya, Sujay Sanghavi외 5명|arXiv (Cornell University)|2022. 06. 01.

Machine Learning and Data Classification인용 수 4

한 줄 요약

이 논문은 클래스 사전 확률 추정이 필요하지 않은, 레이블이 지정된 양성 샘플과 비레이블 데이터를 활용하여 최종 PU 분류 성능을 향상시키는 대비 표현 학습 방법인 Positive Unlabeled Contrastive Learning (puCL)을 제안한다. 새로운 대비 손실 함수와 PU 전용의 클러스터링 기반 가짜 레이블링 전략을 도입하여 다양한 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 특히 낮은 감독 수준에서 뛰어난 성능을 보인다.

ABSTRACT

Self-supervised pretraining on unlabeled data followed by supervised fine-tuning on labeled data is a popular paradigm for learning from limited labeled examples. We extend this paradigm to the classical positive unlabeled (PU) setting, where the task is to learn a binary classifier given only a few labeled positive samples, and (often) a large amount of unlabeled samples (which could be positive or negative). We first propose a simple extension of standard infoNCE family of contrastive losses, to the PU setting; and show that this learns superior representations, as compared to existing unsupervised and supervised approaches. We then develop a simple methodology to pseudo-label the unlabeled samples using a new PU-specific clustering scheme; these pseudo-labels can then be used to train the final (positive vs. negative) classifier. Our method handily outperforms state-of-the-art PU methods over several standard PU benchmark datasets, while not requiring a-priori knowledge of any class prior (which is a common assumption in other PU methods). We also provide a simple theoretical analysis that motivates our methods.

연구 동기 및 목표

• 레이블이 지정된 양성 샘플이 몇 개뿐이고, 많은 수의 비레이블 샘플만 존재하는 Positive Unlabeled (PU) 설정에서 강력한 이진 분류기 학습 문제를 해결하기 위해.
• 기존 PU 방법에서 흔히 사용되지만 실생활에서는 자주 정확하지 않거나 확보되지 않는 클래스 사전 확률 πp에 의존하는 것을 제거하기 위해.
• 레이블이 지정된 양성 샘플에서 유도되는 약한 감독 정보를 활용해 PU 설정에서의 표현 학습을 향상시키기 위해.
• 학습된 표현 기반으로 비레이블 세트에서 잠재적인 음성 샘플을 식별하는 신뢰할 수 있는 가짜 레이블링 메커니즘을 개발하기 위해.
• 추가적인 보조 정보가 없이도 제한된 감독 환경에서도 안정적으로 작동하면서 PU 학습에서 최신 기술 수준 성능을 달성하기 위해.

제안 방법

• 레이블이 지정된 양성 샘플을 양성 쌍으로 포함시켜 표준 infoNCE 대비 목적함수를 PU 설정에 적응시킨 수정된 대비 손실 함수 puCL을 제안한다.
• puCL을 사용해 비레이블 데이터와 소수의 레이블이 지정된 양성 샘플에서 분류 가능한 표현을 학습하는 자기지도형 대비 사전학습 단계를 도입한다.
• 학습된 표현 기반으로 비레이블 세트에서 잠재적인 음성 샘플을 식별하는 PU 전용 클러스터링 기법을 개발한다.
• 클러스터링 결과를 활용해 비레이블 세트에 대해 가짜 레이블링을 적용하고, 최종 분류기 학습을 위한 신뢰할 수 있는 음성 예측을 생성한다.
• 레이블이 지정된 양성 샘플과 가짜 레이블이 지정된 음성 샘플을 조합하여 교차 엔트로피 손실을 기반으로 최종 이진 분류기를 학습한다.
• 두 단계 파이프라인을 활용한다: (1) puCL을 사용한 대비 사전학습, (2) 가짜 레이블링 이후 지도 미세조정.

실험 결과

연구 질문

• RQ1 대비 자기지도형 학습이 클래스 사전 확률 지식 없이도 PU 학습 설정에 효과적으로 적응하여 표현 품질을 향상시킬 수 있는가?
• RQ2 다양한 감독 수준에서 편향-분산 트레이드오프 측면에서 제안된 puCL 대비 목적함수와 표준 자기지도형 및 지도형 대비 학습 방식 간의 성능 차이가 어떻게 되는가?
• RQ3 표현이 잘 분리되어 있을 경우, 클러스터링 기반 가짜 레이블링 전략이 비레이블 세트에서 음성 샘플을 효과적으로 식별할 수 있는가?
• RQ4 제안된 방법이 기존의 PU 학습 기반선보다 우수한가, 특히 레이블이 지정된 양성 샘플 수가 적을 경우에 더욱 그렇다면?
• RQ5 성능이 진짜 클래스 사전 확률 πp에 얼마나 민감한가, 그리고 πp가 알려져 있지 않거나 잘못 추정되었을 경우에도 방법이 안정성을 유지할 수 있는가?

주요 결과

• puCL은 모든 평가된 데이터셋과 감독 수준에서 표준 자기지도형 대비 학습(ssCL)보다 뚜렷이 뛰어나며, 레이블이 지정된 양성 샘플 수가 적을수록 더 큰 성능 향상을 보였다.
• 클래스 사전 확률 πp를 포함하는 제안된 sCL-PU 손실 함수는 πp가 0.5에 가까워질수록 성능 저하를 보이며, πp가 1에 가까워지면 붕괴되는 경향을 보여, 사전 확률 추정 오류에 매우 민감함을 입증했다.
• puCL은 다양한 πp 값에서도 강력한 성능을 유지하며, 클래스 사전 확률이 알려져 있거나 정확하게 추정되지 않더라도 안정성을 유지한다. 이는 πp에 의존하는 기존 방법과 대비된다.
• 가짜 레이블링 단계(puPL)는 항상 nnPU 기반선을 능가하며, 특히 감독 수가 적은 환경에서 뛰어난 성능을 보였다. 또한 표준 교차 엔트로피 학습에서 관찰된 모델 붕괴 현상을 방지했다.
• 가짜 레이블의 품질은 표현의 분리 정도와 강하게 상관되어 있었으며, 이는 대비 사전학습이 최종 분류 성능 향상에 기여함을 시사한다.
• CIFAR-I, CIFAR-II, FMNIST-I, FMNIST-II에서 puCL은 진짜 클래스 사전 확률에 접근 가능하다고 가정하는 방법들보다 최신 기술 수준 성능을 달성했다.