[논문 리뷰] Dist-PU: Positive-Unlabeled Learning from a Label Distribution Perspective

Yunrui Zhao, Qianqian Xu외 3명|arXiv (Cornell University)|2022. 12. 06.

Machine Learning and Data Classification인용 수 5

한 줄 요약

이 논문은 알려진 클래스 사전 확률에서 유도된 진짜 레이블 분포와 모델 예측의 기대 레이블 분포를 일치시키는 새로운 양성-무단일(PU) 학습 방법인 Dist-PU를 제안한다. 레이블 분포 일치, 엔트로피 최소화, Mixup 정규화를 활용하여, 비용 감수성 PU 방법에서 흔히 발생하는 부정 예측 편향을 완화하고, CIFAR-10, Fashion-MNIST, 알츠하이머병 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Positive-Unlabeled (PU) learning tries to learn binary classifiers from a few labeled positive examples with many unlabeled ones. Compared with ordinary semi-supervised learning, this task is much more challenging due to the absence of any known negative labels. While existing cost-sensitive-based methods have achieved state-of-the-art performances, they explicitly minimize the risk of classifying unlabeled data as negative samples, which might result in a negative-prediction preference of the classifier. To alleviate this issue, we resort to a label distribution perspective for PU learning in this paper. Noticing that the label distribution of unlabeled data is fixed when the class prior is known, it can be naturally used as learning supervision for the model. Motivated by this, we propose to pursue the label distribution consistency between predicted and ground-truth label distributions, which is formulated by aligning their expectations. Moreover, we further adopt the entropy minimization and Mixup regularization to avoid the trivial solution of the label distribution consistency on unlabeled data and mitigate the consequent confirmation bias. Experiments on three benchmark datasets validate the effectiveness of the proposed method.Code available at: https://github.com/Ray-rui/Dist-PU-Positive-Unlabeled-Learning-from-a-Label-Distribution-Perspective.

연구 동기 및 목표

• 기존의 비용 감수성 PU 학습 방법에서 발생하는 부정 예측 선호 문제를 해결하기 위해, 무단일 데이터를 부정으로 분류할 위험을 명시적으로 최소화하는 데 기인한 문제를 다루기 위해.
• 무단일 데이터의 레이블 분포를 고정된 학습 가능한 감독 신호로 모델링함으로써 PU 학습에 대한 새로운 시각을 제안하기 위해.
• 엔트로피 최소화와 Mixup 정규화를 레이블 분포 일치 프레임워크에 통합하여 일반화 성능 향상과 확인 편향 감소를 위해.
• PU 학습에서 레이블 분포 일치에 대한 일반화 경계를 유도하여 이론적 근거를 제공하기 위해.

제안 방법

• 예측 레이블 분포의 기대값을 진짜 클래스 사전 확률과 일치시킴으로써 PU 학습을 레이블 분포 일치 작업으로 공식화하기 위해.
• 딥 네ural 네트워크의 시그모이드 출력을 통해 기대 예측 레이블을 추정하여 엔드 투 엔드 학습을 가능하게 하기 위해.
• 모든 무단일 예측이 클래스 사전 확률과 동일해지는 자명한 해를 방지하기 위해, 확신 있는 예측(0 또는 1에 가까운 점수)을 유도하기 위해 엔트로피 최소화를 도입하기 위해.
• 데이터 증강을 위해 Mixup 정규화를 적용하여, 보간된 샘플에 대한 강건성을 유도함으로써 확인 편향을 감소시키기 위해.
• 레이블 분포 일치, 엔트로피 최소화, Mixup를 통합하여 일반화 성능 향상을 위한 유일한 학습 목표로 조합하기 위해.
• 레이블 분포 일치에 대한 일반화 경계를 유도하여 이론적 지원을 제공하기 위해.

실험 결과

연구 질문

• RQ1 예측 분포와 진짜 레이블 분포 사이의 레이블 분포 일치가 PU 학습에서 부정 예측 편향을 효과적으로 완화할 수 있는가?
• RQ2 엔트로피 최소화는 레이블 분포 일치의 강건성을 어떻게 향상시키고 자명한 해를 방지하는가?
• RQ3 레이블 분포 일치와 함께 사용할 때 Mixup 정규화는 확인 편향을 어느 정도 감소시키는가?
• RQ4 μ, α, ν, γ와 같은 하이퍼파rameter는 Dist-PU 프레임워크의 성능과 안정성에 어떤 영향을 미치는가?
• RQ5 제안된 레이블 분포 일치 프레임워크는 알려진 클래스 사전 확률을 가진 실제 데이터셋에 일반화 가능한가?

주요 결과

• Dist-PU는 CIFAR-10, Fashion-MNIST, 알츠하이머병 데이터셋의 모든 벤치마크 데이터셋에서 대부분의 평가 지표에서 최신 기술 수준의 PU 학습 방법을 초월한다.
• 절단 실험 결과 레이블 분포 일치가 가장 핵심적인 구성 요소임을 확인하였으며, 이를 포함하지 않은 베이스라인 대비 성능 향상이 뚜렷하다.
• 엔트로피 최소화는 레이블 분포 일치와 결합되었을 때나마 미미하지만 일관된 성능 향상을 제공한다.
• Mixup 정규화는 레이블 분포 일치와 함께 사용되었을 때 가장 큰 성능 향상을 보이며, 확인 편향 감소에 있어 상호 보완적인 역할을 한다는 점을 확인한다.
• 민감도 분석 결과, μ > 0.5일 경우 성능 저하가 발생하며, α > 1 및 ν > 1일 경우 강건성이 향상되고 확인 편향이 감소함을 확인하였다.
• 틀린 예측의 시각화 결과, Mixup는 더 부드러운 점수 분포를 유도하고 잘못된 예측에 대한 신뢰도를 낮추며, 확인 편향 완화에 기여한다는 점을 확인하였다.