[논문 리뷰] Theoretical Comparisons of Learning from Positive-Negative, Positive-Unlabeled, and Negative-Unlabeled Data

Gang Niu, Marthinus Christoffel du Plessis외 2명|arXiv (Cornell University)|2016. 03. 10.

Machine Learning and Data Classification인용 수 3

한 줄 요약

이 논문은 기존의 PN(양성-음성) 학습과 비교하여 PU(양성-미분류) 및 NU(음성-미분류) 학습의 이론적 성능을 분석하며, 무한한 미분류 데이터가 존재할 경우 PU 또는 NU 학습이 거의 항상 PN 학습을 능가함을 증명한다. 이 연구는 PU 학습이 음성 예제가 없음에도 불구하고 지도 학습인 PN 학습을 능가할 수 있다는 경험적 관찰에 대한 이론적 기반을 마련한다.

ABSTRACT

In PU learning, a binary classifier is trained only from positive (P) and unlabeled (U) data without negative (N) data. Although N data is missing, it sometimes outperforms PN learning (i.e., supervised learning) in experiments. In this paper, we theoretically compare PU (and the opposite NU) learning against PN learning, and prove that, one of PU and NU learning given infinite U data will almost always improve on PN learning. Our theoretical finding is also validated experimentally.

연구 동기 및 목표

• PU 및 NU 학습의 성능을 기존 PN 학습과 비교하여 이론적으로 분석하는 것.
• 미분류 데이터가 풍부할 경우 PU 또는 NU 학습이 PN 학습을 능가할 수 있는지 조사하는 것.
• PU 학습이 음성 데이터가 부재함에도 불구하고 PN 학습을 능가하는 경험적 관찰에 대한 공식적 정당성을 제공하는 것.
• 미분류 데이터가 증가함에 따라 PU 또는 NU 학습이 PN 학습을 어떻게 향상시킬 수 있는지 조건을 설정하는 것.

제안 방법

• PU, NU, PN 학습 프레임워크 하에서 이진 분류 성능에 대한 이론적 분석.
• 무한한 미분류 데이터를 사용하여 PU, NU, PN 학습 간의 일반화 오차 경계를 비교.
• PU 또는 NU 학습이 渐近적으로 PN 학습을 능가할 조건을 유도하는 것.
• 확률적 및 통계 모델을 활용하여 데이터 분포와 학습 성능 간의 관계를 수식화하는 것.
• 무한한 미분류 데이터가 존재할 경우, PU 또는 NU 학습이 거의 확실히 PN 학습을 능가함을 증명하는 것.

실험 결과

연구 질문

• RQ1 PU 학습이 PN 학습을 능가하는 조건은 무엇인가?
• RQ2 미분류 데이터가 풍부할 경우 NU 학습도 PN 학습을 능가할 수 있는가?
• RQ3 PU 학습이 음성 예제가 없음에도 불구하고 경험적으로 성공하는 데 이론적 근거가 있는가?
• RQ4 미분류 데이터가 무한에 가까워질수록 PU, NU, PN 학습의 일반화 오차는 어떻게 비교되는가?

주요 결과

• 무한한 미분류 데이터가 존재할 경우, PU 또는 NU 학습 중 하나는 거의 확실히 PN 학습을 능가한다.
• 이론적 우월성은 PU 및 NU 학습이 미분류 데이터를 활용해 결정 경계를 더 잘 추정할 수 있다는 데 기인한다.
• PU 및 NU 학습이 동시에 개선되는 것은 보장되지 않지만, 적어도 하나는 渐近적으로 PN 학습을 능가한다.
• 이 결과는 PU 학습이 PN 학습을 능가하는 경험적 관찰에 대한 이론적 설명을 제공한다.