[논문 리뷰] Semi-Supervised Classification Based on Classification from Positive and Unlabeled Data

Tomoya Sakai, Marthinus Christoffel du Plessis외 2명|arXiv (Cornell University)|2016. 05. 23.

Machine Learning and Data Classification참고 문헌 26인용 수 46

한 줄 요약

이 논문은 양성-부정성(PN), 양성-미분류( PU), 부정성-미분류(NU) 위험 추정을 볼록 조합으로 통합하는 새로운 준지도 학습 분류 방법인 PNU 분류를 제안한다. 비지도 데이터를 정규화가 아닌 직접적인 위험 평가에 활용함으로써, 제약 조건이 없는 분포 가정 없이도 최적의 파rametric 속도로 일반화 오차 경계를 향상시키고 분산을 감소시켜, 기존 방법보다 정확도와 효율성에서 뛰어난 성능을 달성한다.

ABSTRACT

Most of the semi-supervised classification methods developed so far use unlabeled data for regularization purposes under particular distributional assumptions such as the cluster assumption. In contrast, recently developed methods of classification from positive and unlabeled data (PU classification) use unlabeled data for risk evaluation, i.e., label information is directly extracted from unlabeled data. In this paper, we extend PU classification to also incorporate negative data and propose a novel semi-supervised classification approach. We establish generalization error bounds for our novel methods and show that the bounds decrease with respect to the number of unlabeled data without the distributional assumptions that are required in existing semi-supervised classification methods. Through experiments, we demonstrate the usefulness of the proposed methods.

연구 동기 및 목표

• 클러스터 가정과 같은 강력한 분포 가정을 요구하지 않는 준지도 학습 분류 방법을 개발하는 것.
• PU 분류를 확장하여 부정성 데이터를 통합하고, 비지도 데이터를 통해 일반화를 향상시키는 것.
• 기존의 분포 가정 없이도 분산 감소와 일반화 오차 경계의 이론적 분석을 수행하는 것.
• 다양한 데이터셋에서 제안된 방법의 정확도 및 계산 효율성에서의 우수성을 실증적으로 검증하는 것.

제안 방법

• PN, PU, NU 분류의 위험 함수를 볼록 조합으로 조합하여 통합된 PNU 분류 프레임워크를 구성한다.
• PU 분류에서 유도된 비편향 위험 추정기를 활용해 비지도 데이터에서 직접 레이블 정보를 추출함으로써, 정규화 기반의 가정을 피한다.
• 일반화 오차 경계 분석을 통해 레이블된 데이터와 비지도 데이터의 수가 증가함에 따라 신뢰도 항이 최적의 파arametric 속도로 감소함을 보여준다.
• 제안된 위험 추정기의 분산 경계를 유도하여, 무한한 비지도 데이터가 주어졌을 때 기존 PN 위험 추정기보다 거의 항상 더 작은 분산을 가짐을 증명한다.
• 선형 분류기와 제곱 손실 또는 제로-일 손실 함수를 적용하며, PNU 위험에 대해 다섯 번 교차 검증을 통해 하이퍼파ram터를 선택한다.
• 에너지 거리 최소화를 통해 클래스 사전 확률을 추정함으로써, 사전 확률이 알려지지 않은 상황에서도 실용적인 구현이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 준지도 학습에서 비지도 데이터를 정규화가 아닌 위험 평가에 효과적으로 활용할 수 있는가?
• RQ2 PN, PU, NU 위험 함수를 통합함으로써 기존의 분포 가정 없이도 일반화 오차 경계가 향상되는가?
• RQ3 비지도 데이터가 증가함에 따라 제안된 위험 추정기의 분산이 기존 PN 분류와 비교해 어떻게 변화하는가?
• RQ4 제안된 방법이 기존 준지도 학습 방법보다 더 높은 정확도와 계산 효율성을 달성할 수 있는가?

주요 결과

• PNU 분류는 반도체 데이터셋을 포함한 모든 데이터셋에서 최고 또는 유사한 성능을 기록했으며, 특히 반도체 데이터셋에서 클래스 오버랩으로 인해 WellSVM이 실패한 경우에도 성능을 유지를 하였다.
• 모든 데이터셋에서 일관된 성능을 보였으며, 높은 오버랩 상황에서도 심각한 성능 저하가 없었다.
• 계산 시간 측면에서 PNU 분류가 가장 빠르며, 특히 제곱 손실을 사용할 경우 다른 방법들을 능가했다. Places 205 이미지 분류 과제에서도 최고의 성능을 보였다.
• 분포 가정 없이도 양성, 부정성, 비지도 샘플의 수에 대해 일반화 오차 경계가 최적의 파arametric 속도로 감소함을 확인하였다.
• 무한한 비지도 데이터가 주어졌을 때 제안된 위험 추정기의 분산은 거의 항상 기존 PN 위험 추정기보다 작았다.
• 실증 결과는 준지도 학습에서 PU 기반 위험 추정을 사용할 경우 다양한 데이터 분포에 대해 유망하고 강건함을 확인하였다.