[논문 리뷰] Positive-Unlabeled Learning with Non-Negative Risk Estimator

Ryuichi Kiryo, Gang Niu외 2명|arXiv (Cornell University)|2017. 03. 02.

Machine Learning and Data Classification참고 문헌 39인용 수 139

한 줄 요약

이 논문은 높은 유연성을 갖는 모델에서 과적합을 억제하기 위해 PU 학습용 비음수 위험 추정기를 도입하여 양-은등록 데이터에서 심층 네트워크의 효과적인 활용을 가능하게 하고, 이론적 보장과 대규모 학습 알고리즘을 제공한다.

ABSTRACT

From only positive (P) and unlabeled (U) data, a binary classifier could be trained with PU learning, in which the state of the art is unbiased PU learning. However, if its model is very flexible, empirical risks on training data will go negative, and we will suffer from serious overfitting. In this paper, we propose a non-negative risk estimator for PU learning: when getting minimized, it is more robust against overfitting, and thus we are able to use very flexible models (such as deep neural networks) given limited P data. Moreover, we analyze the bias, consistency, and mean-squared-error reduction of the proposed risk estimator, and bound the estimation error of the resulting empirical risk minimizer. Experiments demonstrate that our risk estimator fixes the overfitting problem of its unbiased counterparts.

연구 동기 및 목표

• PU 학습의 동기 부여와 유연한 모델에서의 편향 없는 위험 추정기에 의한 과적합 문제를 지적한다.
• 음수 위험이 나오는 것을 방지하고 과적합을 막기 위해 비음수 위험 추정기를 도입한다.
• nnPU의 바이어스, 일관성, 평균제곱오차 감소에 대한 이론적 분석을 제공한다.
• 대규모, SGD 친화적인 알고리즘을 제안하여 nnPU를 사용한 분류기 학습을 가능하게 한다.
• 딥 아키텍처를 갖춘 여러 데이터셋에서 nnPU의 경험적 개선을 입증한다.

제안 방법

• 기존의 편향 없는 PU 위험 추정기와 모델이 매우 유연할 때의 한계를 검토한다.
• 비음수 PU 위험 추정기 ￦tenR_pu(g)=pi_p R_p^+(g) + max{0, R_u^-(g) - pi_p R_p^-(g)} 를 PU 프레임워크 내에서 정의한다.
• 시그모이드 손실과 같은 대리 손실을 최소화하는 비음수 위험을 최적화하는 SGD 기반의 대규모 학습 알고리즘(Algorithm 1)을 제안한다.
• 훈련 안정성을 유지하기 위해 음의 위험 항을 제어하는 확률적 최적화 스킴을 사용한다.
• nnPU 추정기에 대한 바이어스, 일관성 및 MSE 감소에 대한 이론적 결과를 제공한다.
• 딥 모델에 대한 실용적 구현 고려사항과 대리 손실에 관한 지침을 제시한다.

실험 결과

연구 질문

• RQ1 매우 유연한 모델에서도 비음수 위험 추정기가 PU 학습의 과적합을 수정할 수 있는가?
• RQ2 비음수 PU 위험 추정기의 바이어스, 일관성 및 MSE 특성은 무엇인가?
• RQ3 깊은 신경망으로 대규모 설정에서 nnPU는 PN 및 편향 없는 PU 학습과 비교하여 어떤 성능을 보이는가?
• RQ4 nnPU에 적합한 대리 손실 함수는 무엇이며 어떻게 최적화되어야 하는가?
• RQ5 양의 클래스 사전(pi_p)의 오정의가 nnPU 성능에 어떤 영향을 미치는가?

주요 결과

• nnPU는 딥 뉴럴 네트워크처럼 유연한 모델을 사용할 때 관찰되는 편향 없는 PU 학습의 과적합을 감소시킨다.
• nnPU 추정기는 편향되었지만 일관적이다; 그 위험은 true risk로 수렴하는 속도가 O_p(pi_p/√n_p + 1/√n_u)이다.
• nnPU는 MNIST, epsilon, CIFAR-10 등 여러 벤치마크에서 편향 없는 PU 및 PN보다 낮은 테스트 위험을 달성하며 20News에서 PN 성능과 일치한다.
• 제안된 대규모 알고리즘은 일반적인 대리 손실(예: 시그모이드)을 사용한 nnPU에 대한 확률적 최적화를 가능하게 한다.
• nnPU는 일반적인 가정 및 데이터 체계에서 편향 있는 PU 추정기에 비해 MSE 감소를 보여준다.