[논문 리뷰] Generative Adversarial Positive-Unlabelled Learning

Ming Hou, Brahim Chaib-draa외 2명|arXiv (Cornell University)|2017. 11. 21.

Machine Learning and Data Classification인용 수 4

한 줄 요약

이 논문은 매우 제한된 레이블이 부여된 양성 데이터만을 가질 때도 깊이 있는 신경망의 안정적인 훈련을 가능하게 하는, 별도의 생성기와 판별기로 실감나는 양성 및 음성 샘플을 합성하는 새로운 생성적 적대적 프레임워크인 GenPU를 제안한다. 평형 상태에서 GenPU는 이론적으로 두 데이터 분포를 복원하며, 특히 저자료 환경에서 최신 기술 수준의 정확도를 달성하여 과적합에 대한 저항력과 일반화 능력에서 기존의 PU 학습 방법을 능가한다.

ABSTRACT

In this work, we consider the task of classifying binary positive-unlabeled (PU) data. The existing discriminative learning based PU models attempt to seek an optimal reweighting strategy for U data, so that a decent decision boundary can be found. However, given limited P data, the conventional PU models tend to suffer from overfitting when adapted to very flexible deep neural networks. In contrast, we are the first to innovate a totally new paradigm to attack the binary PU task, from perspective of generative learning by leveraging the powerful generative adversarial networks (GAN). Our generative positive-unlabeled (GenPU) framework incorporates an array of discriminators and generators that are endowed with different roles in simultaneously producing positive and negative realistic samples. We provide theoretical analysis to justify that, at equilibrium, GenPU is capable of recovering both positive and negative data distributions. Moreover, we show GenPU is generalizable and closely related to the semi-supervised classification. Given rather limited P data, experiments on both synthetic and real-world dataset demonstrate the effectiveness of our proposed framework. With infinite realistic and diverse sample streams generated from GenPU, a very flexible classifier can then be trained using deep neural networks.

연구 동기 및 목표

• 유연한 깊이 신경망을 사용할 때 레이블이 부족한 양성 데이터로 인한 과적합 문제를 해결하기 위해.
• 기존의 판별적 재가중 전략이 아닌 생성 모델링 기반의 새로운 PU 학습 패러다임을 개발하기 위해.
• 제안된 프레임워크가 평형 상태에서 실제 양성 및 음성 데이터 분포를 복원할 수 있음을 이론적으로 정당화하기 위해.
• 다양한 데이터 분포와 저자료 설정에서 프레임워크의 일반화 능력과 강건성(로버스트니)을 입증하기 위해.

제안 방법

• 각각 양성 또는 음성 데이터 분포를 모델링하도록 전문화된 생성기와 판별기의 배열을 사용한다.
• 생성기 $G_p$와 $G_n$은 랜덤 노이즈에서 실감나는 양성 및 음성 샘플을 합성하고, 판별기 $D_p$와 $D_n$은 진짜와 가짜 샘플을 구분한다.
• 훈련 과정은 $G_p$와 $D_p$가 함께 양성 분포를 모델링하도록, $G_n$과 $D_n$이 음성 분포를 모델링하도록 최소화-최대화 게임을 따르는 방식이다.
• 이 프레임워크는 일반화 가능하며, 워샤프스키 거리와 같은 다른 산란 측도를 사용하는 다양한 GAN 변종으로도 확장할 수 있다.
• 표준 양성-음성 분류기가 합성된 데이터 스트림에서 훈련되어, 과적합 없이 고용량 모델을 사용할 수 있다.
• 이론적 분석을 통해 평형 상태에서 생성기가 실제 양성 및 음성 클래스의 데이터 분포를 복원함을 입증한다.

실험 결과

연구 질문

• RQ1 생성적 적대적 프레임워크는 PU 학습에서 양성 및 음성 데이터 분포를 효과적으로 모델링할 수 있는가?
• RQ2 제안된 GenPU 프레임워크는 레이블이 부족한 양성 샘플(예: 몇 개의 샘플)이 존재할 때 깊이 신경망의 과적합을 완화하는가?
• RQ3 저자료 환경에서 GenPU의 성능은 기존의 PU 학습 방법과 비교해 어떻게 되는가?
• RQ4 GenPU 프레임워크는 다양한 GAN 변종과 산란 측도에 대해 얼마나 일반화 가능한가?

주요 결과

• MNIST에서 '3' 대 '5' 분류 작업에 대해 레이블이 부여된 양성 샘플이 100개 뿐이어도 GenPU는 98.3%의 정확도를 달성했으며, UPU와 NNPU를 능가했다.
• 양성 레이블이 하나뿐인 경우에도 GenPU는 '3' 대 '5' 작업에서 97.6%의 정확도를 유지했고, NNPU는 56.3%로 떨어졌다.
• USPS 데이터셋에서 GenPU는 하나의 레이블이 부여된 '3'에 대해 94.0%의 정확도를 기록했으며, UPU(54.0%)와 NNPU(61.0%)를 크게 앞섰다.
• 레이블이 부여된 양성 샘플 수가 5개로 줄어들었을 때도 GenPU는 MNIST에서 97.9%의 정확도를 유지했고, NNPU는 84.3%로 떨어졌다.
• 매우 민감한 분류기 조차도 GenPU는 저자료 설정에서 안정적인 훈련 및 테스트 오차 곡선을 보이며 과적합을 피했다.
• 이론적 분석을 통해 평형 상태에서 GenPU가 양성 및 음성 데이터 분포를 모두 복원함을 확인했으며, 편향 없는 학습을 보장한다.