[논문 리뷰] Alternate Estimation of a Classifier and the Class-Prior from Positive and Unlabeled Data

Masahiro Kato, Liyuan Xu외 2명|arXiv (Cornell University)|2018. 09. 15.

Advanced Statistical Methods and Models참고 문헌 5인용 수 9

한 줄 요약

이 논문은 양성 및 무 nhãn 데이터(positive and unlabeled, PU)로부터 이진 분류기와 클래스 사전확률을 동시에 학습하는 새로운 교차 추정 프레임워크를 제안한다. 기존의 두 단계 방법의 한계를 해결하기 위해 두 성분을 반복적으로 개선함으로써 분류 성능을 향상시키며, 분류기 학습 과정에서 클래스 사전확률 추정 오차를 고려함으로써 진정한 클래스 사전확률에 수렴하는 결과를 얻는다. 이는 약간의 규칙성 조건 하에 성립한다.

ABSTRACT

We consider a problem of learning a binary classifier only from positive data and unlabeled data (PU learning) and estimating the class-prior in unlabeled data under the case-control scenario. Most of the recent methods of PU learning require an estimate of the class-prior probability in unlabeled data, and it is estimated in advance with another method. However, such a two-step approach which first estimates the class prior and then trains a classifier may not be the optimal approach since the estimation error of the class-prior is not taken into account when a classifier is trained. In this paper, we propose a novel unified approach to estimating the class-prior and training a classifier alternately. Our proposed method is simple to implement and computationally efficient. Through experiments, we demonstrate the practical usefulness of the proposed method.

연구 동기 및 목표

• 클래스 사전확률을 먼저 추정하고 나서 분류기를 훈련하는 두 단계 PU 학습 방법의 성능이 최적화되지 않는 문제를 해결하기 위해.
• 클래스 사전확률과 분류기를 번갈아가며 추정하는 통합 프레임워크를 개발하여, 사전확률 추정의 오차 전파를 줄이기 위해.
• 분류기 학습 과정에서 클래스 사전확률 추정의 불확실성을 고려함으로써 분류 성능을 향상시키기 위해.
• 사례-대조 시나리오 하에서 계산적으로 효율적이고 간단하게 구현 가능한 알고리즘을 제공하기 위해.

제안 방법

• 이 방법은 이론적 위험 최소화 프레임워크와 로그 손실 함수를 사용하여 클래스 사전확률 π와 분류기 f를 번갈아 추정한다.
• 각 반복 단계 k에서, κ = π^(k)로 고정된 상태에서 위험 R^κ(f)를 최소화함으로써 분류기 f^(k)를 훈련한다. 이는 PU 데이터에서 유도된 비편향 위험 추정기법을 사용한다.
• 클래스 사전확률 π^(k+1)는 무 nhãn 데이터 분포에 대한 분류기 출력 f^(k)(x)의 적분으로 갱신되며, 즉 π^(k+1) = ∫ f^(k)(x) p(x) dx 이다.
• 수치적 불안정성을 방지하기 위해 f^(k)(x)에 클리핑 메커니즘이 적용되어 1에서 멀리 떨어지도록 보장된다.
• 이론적 분석을 통해 클래스 사전확률 추정치 π^(k)가 데이터와 일치할 수 있는 최대 클래스 사전확률 π_max로 수렴함을 증명한다.
• 수렴 속도를 확립하기 위해 클래스 조건부 밀도와 변동 밀도의 리프시츠 연속성을 가정한다.

실험 결과

연구 질문

• RQ1 PU 학습에서 클래스 사전확률과 분류기를 동시에 추정하는 방법이, 사전확률을 먼저 추정하고 나서 분류기를 훈련하는 두 단계 방법보다 성능이 뛰어나게 되는가?
• RQ2 분류기 학습 과정에서 클래스 사전확률 추정 오차를 고려할 경우 전체 분류 성능에 어떤 영향을 미치는가?
• RQ3 알 수 없는 클래스 사전확률을 가진 PU 학습에서 교차 최적화 방법에 대해 어떤 수렴 보장을 제공할 수 있는가?
• RQ4 제안된 방법이 데이터 밀도에 대해 현실적인 규칙성 조건 하에 진정한 클래스 사전확률로 수렴하는가?
• RQ5 제안된 방법은 최신의 클래스 사전확률 추정 및 PU 학습 방법과 비교해 성능가능성이 있는가?

주요 결과

• 제안된 교차 방법은 리프시츠 연속성과 같은 약간의 규칙성 조건 하에 진정한 클래스 사전확률 π_max로 수렴한다.
• 이론적 분석을 통해 클래스 사전확률 추정치 π^(k)가 차원 d와 밀도 매개변수에 따라 달라지는 속도로 π_max로 수렴함을 보여준다.
• 실험 결과로 제안된 방법이 기준 두 단계 방법보다 더 뛰어난 분류 성능을 보이며, 특히 클래스 사전확률이 잘못 추정된 경우에 두드러진다.
• 이 방법은 계산적으로 효율적이며 간단하게 구현 가능하며, 분류기와 사전확률 추정치의 반복 갱신만으로 이루어진다.
• 분류기 출력이 1에 가까워지는 것을 방지하기 위해 클리핑 메커니즘을 통해 수치적 안정성을 유지한다.
• 실험 결과로 제안된 방법은 PU 학습과 함께 사용되었을 때 기존의 클래스 사전확률 추정 기법보다 성능이 뛰어나다는 것이 입증되었다.