[논문 리뷰] A Variational Approach for Learning from Positive and Unlabeled Data

Hui Chen, Fangqing Liu외 3명|arXiv (Cornell University)|2019. 06. 03.

Machine Learning and Data Classification참고 문헌 28인용 수 22

한 줄 요약

이 논문은 클래스 사전확률 추정이나 데이터 분리 가능성 가정 없이 베이지안 분류기의 모델링 오차를 직접 최소화하는 변분 접근법을 제안한다. 라벨된 데이터와 무라벨 데이터의 분포를 기반으로 한 클래스 사전확률을 고려하지 않은 변분 손실을 정식화함으로써, 일致하고 효율적인 최적화가 가능해지며, CIFAR-10 및 Fashion-MNIST를 포함한 벤치마크 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

Learning binary classifiers only from positive and unlabeled (PU) data is an important and challenging task in many real-world applications, including web text classification, disease gene identification and fraud detection, where negative samples are difficult to verify experimentally. Most recent PU learning methods are developed based on the conventional misclassification risk of the supervised learning type, and they require to solve the intractable risk estimation problem by approximating the negative data distribution or the class prior. In this paper, we introduce a variational principle for PU learning that allows us to quantitatively evaluate the modeling error of the Bayesian classifier directly from given data. This leads to a loss function which can be efficiently calculated without any intermediate step or model, and a variational learning method can then be employed to optimize the classifier under general conditions. In addition, the discriminative performance and numerical stability of the variational PU learning method can be further improved by incorporating a margin maximizing loss function. We illustrate the effectiveness of the proposed variational method on a number of benchmark examples.

연구 동기 및 목표

• 음성 샘플이 확보되지 않거나 확인하기 어려운 상황에서, 오직 양성 및 무라벨 데이터만 이용 가능한 경우 정확한 이진 분류기 학습의 과제를 해결한다.
• 기존 PU 학습 방법의 한계를 극복한다. 이는 클래스 사전확률 추정의 부정확성이나 데이터 분리 가능성 가정에 의존하기 때문이다.
• 관측된 데이터 분포에서 직접 베이지안 분류기의 모델링 오차를 평가하고 최소화할 수 있는 체계적인, 클래스 사전확률을 고려하지 않은 프레임워크를 개발한다.
• 중간 추정 단계나 강한 가정 없이 일반 조건 하에서 안정적이고 일관된 분류기 최적화를 가능하게 한다.
• 특히 데이터가 적거나 클래스 불균형한 상황에서 실제 벤치마크 데이터셋에서 뛰어난 성능을 입증한다.

제안 방법

• 라벨된 데이터와 무라벨 데이터의 경험적 분포만을 사용하여 후보 분류기와 이상적인 베이지안 분류기 간의 차이를 수량화하는 변분 원리를 도입한다.
• 클래스 사전확률 추정을 명시적으로 피하기 위해, 양성 데이터 분포와 분류기의 출력 분포 간의 발산을 측정하는 변분 손실 함수를 정의한다.
• 경험적 평균을 통해 일관되고 효율적으로 계산 가능한 클래스 사전확률을 고려하지 않은 손실 최소화 문제로 최적화 문제를 정식화한다.
• 무라벨 데이터에서 유도된 양성 분포와 분류기 유도 분포 간의 젠슨-쇼너 확산을 근사하기 위해 판별자 네트워크를 활용한 적대적 훈련을 사용한다.
• 분류기의 출력과 양성 데이터 밀도 간의 가중치가 부여된 L² 거리에 기반한 대안적 정식화로, 신경망 훈련을 통해 이를 최소화한다.
• 음성 샘플이나 클래스 사전확률의 노이즈가 많거나 힌트에 의존하는 추정치가 필요 없이, 직접적으로 베이지안 분류기를 근사하는 데 변분 최적화를 적용한다.

실험 결과

연구 질문

• RQ1 클래스 사전확률 추정이나 데이터 분리 가능성 가정 없이 PU 학습에서 베이지안 분류기를 일관되게 근사할 수 있는가?
• RQ2 라벨된 데이터와 무라벨 데이터만을 사용하여 클래스 사전확률을 고려하지 않은 방식으로 분류기의 모델링 오차를 정량적으로 평가할 수 있는가?
• RQ3 데이터 분포에 기반한 변분 손실이 기존의 PU 학습 방법보다 정확도와 강인성 측면에서 뛰어나게 성능을 발휘할 수 있는가, 특히 클래스 사전확률이 알려지지 않은 경우에?
• RQ4 판별자 네트워크를 활용한 적대적 훈련이 PU 학습에서 양성 분포와 분류기 유도 분포 간의 발산을 효과적으로 최소화할 수 있는가?
• RQ5 제안된 방법은 CIFAR-10 및 Fashion-MNIST와 같은 표준 벤치마크에서 데이터 부족 또는 클래스 불균형 조건에서도 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 VPU 방법은 여러 벤치마크 데이터셋에서 최신 기준 성능을 달성하였으며, F-MNIST 1에서 97.3%의 정확도와 STL-10 1에서 97.6%의 정확도를 기록하여 nnPU, uPU, GenPU를 모두 능가한다.
• Fashion-MNIST 데이터셋에서 VPU는 92.7%의 정확도를 달성하였으며, 이는 nnPU(90.8%) 및 그 MixUp 증강 버전(91.0%)보다 뚜렷하게 높은 성능을 보였다. 특히 후자는 데이터 증강을 적용한 후에도 성능이 떨어지지 않았음에도 불구하고.
• 모든 데이터셋에서 높은 AUC 점수를 유지하였으며, F-MNIST 1에서 0.973, STL-10 1에서 0.976의 AUC를 기록하여 강력한 일반화 능력과 강인성을 보였다.
• VPU는 클래스 사전확률의 정확도에 민감하지 않으며, 음성 데이터를 사용한 교차검증이 필요 없어, 클래스 사전확률 추정을 완전히 회피한다.
• 변분 손실 정식화 덕분에 중간 추정 단계 없이 일관된 최적화가 가능하여 안정적이고 높은 성능의 결과를 도출한다.
• 실험 결과, VPU는 MixUp과 같은 데이터 증강 기법에 민감하지 않아, nnPU와 같은 방법보다 내재적으로 강인함을 시사한다.