[논문 리뷰] Rethinking Class-Prior Estimation for Positive-Unlabeled Learning

Yue Yu, Tongliang Liu외 5명|arXiv (Cornell University)|2020. 02. 10.

Machine Learning and Data Classification인용 수 6

한 줄 요약

이 논문은 분포 가정에 의존하지 않는 클래스 사전 확률 추정에서, 비가역성 가정이 필요 없도록 보조 양성 분포를 구성함으로써, 양성-부정성(POSITIVE-UNLABELED, PU) 학습에서 분포 가정에 의존하지 않는 클래스 사전 확률 추정을 향상시키는 Regrouping Class-Prior Estimation (ReCPE)을 제안한다. 기존 CPE 방법에서 이 가정이 위반될 경우 발생하는 양성 편향을 줄이며, 다양한 실세계 데이터셋과 최첨단 방법들에서 일관되게 추정 정확도를 향상시킨다.

ABSTRACT

Given only positive (P) and unlabeled (U) data, PU learning can train a binary classifier without any negative data. It has two building blocks: PU class-prior estimation (CPE) and PU classification; the latter has been well studied while the former has received less attention. Hitherto, the distributional-assumption-free CPE methods rely on a critical assumption that the support of the positive data distribution cannot be contained in the support of the negative data distribution. If this is violated, those CPE methods will systematically overestimate the class prior; it is even worse that we cannot verify the assumption based on the data. In this paper, we rethink CPE for PU learning-can we remove the assumption to make CPE always valid? We show an affirmative answer by proposing Regrouping CPE (ReCPE) that builds an auxiliary probability distribution such that the support of the positive data distribution is never contained in the support of the negative data distribution. ReCPE can work with any CPE method by treating it as the base method. Theoretically, ReCPE does not affect its base if the assumption already holds for the original probability distribution; otherwise, it reduces the positive bias of its base. Empirically, ReCPE improves all state-of-the-art CPE methods on various datasets, implying that the assumption has indeed been violated here.

연구 동기 및 목표

• 분포 가정에 의존하지 않는 클래스 사전 확률 추정(CPE)의 핵심적 한계를 해결한다. 이는 양성 지원이 부정성 지원에 포함되지 않는다는 비가역성 가정에 의존한다.
• 이 가정은 실무에서 자주 위반되며, 데이터로부터 검증할 수 없어 클래스 사전 확률을 체계적으로 과대평가하게 된다.
• 비가역성 가정이 필요 없도록 하되, 가정이 성립할 경우 기존 CPE 방법의 일관성을 유지하는 일반화 가능한 해결책을 제안한다.
• 기존 모든 CPE 방법을 향상시키기 위해, 양성 데이터 분포에 재조합 변환을 적용하는 프레임워크를 개발한다.
• 실험적으로 ReCPE가 다양한 실세계 데이터셋과 최첨단 CPE 방법들에서 추정 정확도를 향상시킴을 입증한다.

제안 방법

• 기존 양성 샘플을 재구성하여 보조 양성 분포 $P_{\mathrm{p^\prime}}$를 도입함으로써, $P_{\mathrm{p^\prime}}$의 지원이 부정성 분포 $P_{\mathrm{n}}$의 지원에 포함되지 않도록 보장한다.
• 기존의 분포 가정에 의존하지 않는 CPE 방법을 원래의 $(P_{\mathrm{p}}}, P_{\mathrm{u}})$ 가 아니라 변환된 데이터 쌍 $(P_{\mathrm{p^\prime}}}, P_{\mathrm{u}})$ 에 적용한다.
• 재조합 과정을 통해, 원래 데이터가 비가역성 가정을 위반하더라도 $P_{\mathrm{p^\prime}}$ 가 $P_{\mathrm{u}}$ 에서 차지하는 최대 비율 $\kappa^*$ 가 진짜 클래스 사전 확률 $\pi$ 와 동일하게 유지된다.
• 이론적 분석 결과, 비가역성 가정이 성립할 경우 ReCPE는 성능을 떨어뜨리지 않지만, 가정이 위반될 경우 양성 편향을 감소시킴을 보여준다.
• 기본 CPE 방법에 대해 무관하므로, 기존의 분포 가정에 의존하지 않는 CPE 접근법과의 통합이 가능하다.
• 재조합은 자료 재가중 또는 샘플링 전략을 통해 구현되며, 이는 비라벨링 데이터의 주변 분포를 유지하면서도 양성 분포의 지원 구조를 수정한다.

실험 결과

연구 질문

• RQ1 비가역성 가정 위반에 대해 분포 가정에 의존하지 않는 클래스 사전 확률 추정이 어떻게 강건하게 유지될 수 있는가?
• RQ2 양성 데이터의 지원이 항상 부정성 데이터의 지원에 포함되지 않도록 보조 양성 분포를 구성할 수 있는가?
• RQ3 제안된 재조합 방법이 기존의 분포 가정에 의존하지 않는 CPE 방법의 편향과 정확도에 어떤 영향을 미치는가?
• RQ4 ReCPE 프레임워크는 다양한 실세계 데이터셋과 여러 CPE 기반 방법에서 추정 성능을 향상시키는가?
• RQ5 재조합 접근법은 기존 CPE 방법의 핵심 알고리즘을 수정하지 않고도 일반적으로 적용 가능한가?

주요 결과

• 모든 테스트된 실세계 데이터셋에서 ReCPE는 추정 오차를 크게 감소시켰으며, ReAM(재조합된 AlphaMax)는 원래 AM 대비 평균 오차 0.100을 기록하여 0.116보다 낮게 나타났다.
• 3200개 샘플이 있는 로봇 데이터셋에서 ReKM2는 오차를 0.039에서 0.038로 줄였고, ReRPG는 0.076에서 0.075로 감소하여 일관된 향상이 있었다.
• 3200개 샘플이 있는 셔틀 데이터셋에서 ReKM2는 오차를 0.028에서 0.026으로 줄였고, ReROC는 0.038에서 0.028로 감소하여 강력한 성능 향상을 보였다.
• 모든 데이터셋과 방법의 평균 추정 오차는 기준값 0.116에서 ReCPE의 0.100으로 감소했으며, 윌콕슨 부호 순위 검정의 p-값은 통계적으로 유의미함을 나타냈다.
• ReCPE는 AlphaMax, DEDPUL, Elkan-Noto, KM1, KM2, ROC, Rankpruning 등 모든 최첨단 CPE 방법을 모든 샘플 크기와 데이터셋에서 향상시켰다.
• 실험 결과는 실세계 데이터에서 비가역성 가정이 자주 위반됨을 확인하였으며, 이는 ReCPE의 필요성을 정당화한다.