[논문 리뷰] Recovering True Classifier Performance in Positive-Unlabeled Learning

Shantanu Jain, Martha White외 1명|arXiv (Cornell University)|2017. 02. 02.

Machine Learning and Data Classification인용 수 5

한 줄 요약

이 논문은 클래스 사전확률과 노이즈 비율을 활용하여 양성-무단일(PU) 학습에서 분류기의 편향된 성능 추정을 보정하는 방법을 제안한다. ROC 및 정밀도-재현율 곡선에 대한 폐쇄형 보정을 유도하여, 보통 진정한 성능을 과소평가하는 표준 PU 평가에 비해 보정된 추정치가 유의미하게 뛰어나다는 것을 입증한다.

ABSTRACT

A common approach in positive-unlabeled learning is to train a classification model between labeled and unlabeled data. This strategy is in fact known to give an optimal classifier under mild conditions; however, it results in biased empirical estimates of the classifier performance. In this work, we show that the typically used performance measures such as the receiver operating characteristic curve, or the precision-recall curve obtained on such data can be corrected with the knowledge of class priors; i.e., the proportions of the positive and negative examples in the unlabeled data. We extend the results to a noisy setting where some of the examples labeled positive are in fact negative and show that the correction also requires the knowledge of the proportion of noisy examples in the labeled positives. Using state-of-the-art algorithms to estimate the positive class prior and the proportion of noise, we experimentally evaluate two correction approaches and demonstrate their efficacy on real-life data.

연구 동기 및 목표

• 양성 및 무단일 데이터에서 학습된 분류기의 성능 평가 편향을 해결하기 위해, 무단일 데이터를 부정으로 간주하는 상황에서의 문제를 다루는 것.
• 클래스 사전확률과 노이즈 비율을 사용하여 기존(진정한) 성능와 PU-추정 성능 간의 관계를 수식적으로 정의하는 것.
• PU 환경에서 진정한 분류기 성능을 복원할 수 있는 ROC 및 정밀도-재현율 곡선에 대한 실용적인 보정 방법을 개발하는 것.
• 실세계 데이터셋과 최신 기술 기반의 사전확률 추정 기법을 사용하여 직접적 및 간접적 보정 접근법의 유효성을 평가하는 것.
• 해당 성능의 해석 가능성과 신뢰도를 향상시키기 위해, 원시 PU 성능과 보정된 성능를 모두 보고할 것을 제안하는 것.

제안 방법

• 양성 클래스 사전확률 α와 노이즈 비율 β를 사용하여, 기존 설정에서의 ROC 곡선 아래 면적(AUC)과 PU 설정에서 추정된 AUC 간의 폐쇄형 분석적 관계를 유도한다.
• 동일한 클래스 사전확률과 노이즈 비율 추정치를 활용하여 보정 프레임워크를 정밀도-재현율 곡선으로 확장한다.
• 두 가지 보정 전략을 제안한다: 추정된 α와 β를 직접 사용하는 직접 방법과, 비전통적 분류기의 경험적 ROC 곡선을 활용하는 간접 방법.
• AlphaMax 및 상호 불가분성 기반 추정과 같은 최신 알고리즘을 활용하여 PU 데이터에서 α와 β를 추정한다.
• 다양한 실세계 데이터셋에서 보정 성능을 검증하고, 보정된 추정치를 보존된 레이블이 있는 테스트 데이터에 대한 기준값 평가와 비교한다.
• 약한 분포 가정 하에 클래스 사전확률과 노이즈 비율의 식별 가능성을 보장하기 위해 불가분성 제약 조건을 활용한다.

실험 결과

연구 질문

• RQ1 추정된 클래스 사전확률과 노이즈 비율만으로 PU 설정에서 학습된 분류기의 진정한 성능을 복원할 수 있는가?
• RQ2 보정된 ROC 곡선과 정밀도-재현율 곡선은 표준 PU 추정 곡선에 비해 정확도 측면에서 어떻게 비교되는가?
• RQ3 실제로 적용했을 때, 직접 보정 방법과 간접 보정 방법 중 어느 것이 더 신뢰할 수 있는 성능 추정치를 제공하는가?
• RQ4 레이블이 있는 양성 데이터에 잘못 분류된 양성 예측(가짜 양성)이 포함되어 있을 경우, 노이즈 비율 추정을 포함시키는 것이 성능 복원에 얼마나 기여하는가?
• RQ5 진정한 성능가 알려지지 않은 실세계 PU 학습 문제에 이러한 보정을 적용하는 것은 실현 가능하고 실용적인가?

주요 결과

• 제안된 보정 방법은 항상 표준 PU 평가보다 뛰어나며, 이는 진정한 분류기 성능를 일관되게 과소평가하기 때문이다.
• 비전통적 분류기의 경험적 ROC 곡선을 기반으로 한 간접 보정 방법은 평가된 모든 데이터셋에서 직접 방법보다 더 높은 정확도를 달성했다.
• 보정된 AUC 추정치는 대표적인 레이블이 있는 테스트 세트에서 계산된 진정한 AUC에 유의미하게 가까워, 클래스 사전확률과 노이즈 비율을 통합한 것이 효과적이라는 것을 입증했다.
• 레이블이 있는 양성 세트에 가짜 양성 예측이 포함되어 있을 경우, 노이즈 비율 추정을 포함시키는 것이 성능 복원을 향상시켜, 본 방법의 레이블 노이즈에 대한 강건성을 검증했다.
• 다양한 실세계 데이터셋에 대한 실험 결과는 직접 및 간접 보정 접근법이 PU 학습에서의 성능 추정에 대해 실현 가능하고 실용적임을 확인했다.
• 본 연구는 원시 PU 성능와 보정된 성능를 모두 보고할 경우, 분류기 행동에 대한 더 완전하고 정확한 그림을 제공할 수 있음을 입증한다.