[논문 리뷰] MixPUL: Consistency-based Augmentation for Positive and Unlabeled Learning

Wei Tong, Feng Shi외 2명|arXiv (Cornell University)|2020. 04. 20.

Machine Learning and Data Classification참고 문헌 24인용 수 4

한 줄 요약

MixPUL은 클래스 사전 확률 지식이 필요하지 않은 혼합(_mixup_) 및 감독/비감독 일致성 정규화를 활용하는 일치 기반 데이터 증강 방법을 제안한다. 이는 양성 및 무 nhãn(positive and unlabeled, PU) 학습을 위한 것으로, 신뢰할 수 있는 음성 예제를 무 nhãn 데이터에서 추출하고 마진 손실을 적용함으로써 AUC를 향상시키고 분류 오차를 감소시킨다. CIFAR-10에서 다양한 양성 집합 크기에서 오차가 16.49에서 13.09로 20.6% 상대 감소를 기록한다.

ABSTRACT

Learning from positive and unlabeled data (PU learning) is prevalent in practical applications where only a couple of examples are positively labeled. Previous PU learning studies typically rely on existing samples such that the data distribution is not extensively explored. In this work, we propose a simple yet effective data augmentation method, coined~\algo, based on \emph{consistency regularization} which provides a new perspective of using PU data. In particular, the proposed~\algo~incorporates supervised and unsupervised consistency training to generate augmented data. To facilitate supervised consistency, reliable negative examples are mined from unlabeled data due to the absence of negative samples. Unsupervised consistency is further encouraged between unlabeled datapoints. In addition,~\algo~reduces margin loss between positive and unlabeled pairs, which explicitly optimizes AUC and yields faster convergence. Finally, we conduct a series of studies to demonstrate the effectiveness of consistency regularization. We examined three kinds of reliable negative mining methods. We show that~\algo~achieves an averaged improvement of classification error from 16.49 to 13.09 on the CIFAR-10 dataset across different positive data amount.

연구 동기 및 목표

• 기존 PU 학습 방법이 클래스 사전 확률 추정에 의존하는 한계를 해결하기 위해, 이는 종종 부정확하고 성능을 떨어뜨린다.
• 레이블된 데이터와 무 nhãn 데이터에 모두 _mixup_을 적용한 일치 정규화를 도입하여 PU 학습의 일반화 능력과 AUC를 향상시키기 위해.
• 알려진 데이터 분포를 가정하지 않고도 무 nhãn 데이터를 효과적으로 활용할 수 있는 강건한 사전 확률이 없는 방법을 개발하기 위해.
• 진정한 음성 레이블이 없는 상황에서 다양한 신뢰할 수 있는 음성 예제 추출 전략의 효과를 평가하기 위해.
• 일치 정규화와 마진 손실이 함께 작용할 때 수렴 속도를 가속화하고 모델 안정성을 향상시킨다는 것을 입증하기 위해.

제안 방법

• MixPUL은 데이터 포인트 쌍(양성 및 무 nhãn)과 그 레이블을 혼합하여 일치 정규화를 적용함으로써 모델이 혼합된 레이블을 일관되게 예측하도록 유도한다.
• 무 nhãn 데이터에서 신뢰할 수 있는 음성 예제를 추출하여 감독 일치 손실을 도입함으로써 음성 지도 학습을 시뮬레이션하고, 더 나은 일반화를 가능하게 한다.
• 무 nhãn 데이터 포인트 간에 _mixup_을 통한 비감독 일치 손실을 강제로 적용함으로써 데이터 다양체의 저밀도 영역에서의 강건성을 향상시킨다.
• 양성 및 무 nhãn 쌍 간에 마진 손실을 도입하여 AUC의 위험을 명시적으로 최소화하고, 양성 예제에 대해 더 높은 모델 신뢰도를 유도한다.
• 혼합, 음성 예제 추출, 마진 손실을 통합된 목적 함수에 통합하여 AUC와 일치성을 동시에 최적화한다.
• 세 가지 음성 예제 추출 기법을 평가: 거리 기반(Dist), NTC(랜덤 포레스트), 무작위 다운샘플링(Rand), 그 중 Rand가 뛰어난 성능을 보였다.

실험 결과

연구 질문

• RQ1 클래스 사전 확률 추정이 필요하지 않은 _mixup_을 통한 일치 기반 데이터 증강이 PU 학습 성능 향상에 기여할 수 있는가?
• RQ2 진정한 음성 레이블이 없는 상황에서 다양한 신뢰할 수 있는 음성 예제 추출 전략의 효과는 어떠한가?
• RQ3 무 nhãn 데이터에 대한 비감독 _mixup_이 PU 학습에서 모델 일반화 능력과 수렴 속도 향상에 기여하는가?
• RQ4 양성 및 무 nhãn 쌍 간의 마진 손실을 통합할 경우 AUC와 모델 안정성 향상에 어느 정도 영향을 미치는가?
• RQ5 혼합, 음성 예제 추출, 마진 손실의 조합가지 상태 기반 PU 학습 방법인 uPU 및 nnPU와 비교해 볼 때 어떤가?

주요 결과

• CIFAR-10에서 다양한 양성 집합 크기에서 평균 분류 오차가 16.49에서 13.09로 감소하여 상대적으로 20.6% 향상되었다.
• 무작위 음성 예제 추출 방법이 거리 기반 및 NTC 기반 방법보다 뛰어나며, 특히 데이터가 적은 영역에서 두각을 나타냈다.
• 무 nhãn 데이터에 대한 비감독 _mixup_은 일반화 능력을 크게 향상시켜 초반 학습 불안정성 후 오차가 10% 이하로 감소시켰다.
• 마진 손실을 통합하면 수렴 속도가 빨라지고 학습이 더 안정적이며, 특히 _mixup_과 결합했을 때 두드러진다.
• 진정한 클래스 사전 확률 값을 알 수 없더라도, 특히 양성 데이터가 부족한 경우, 상태 기반 방법인 uPU 및 nnPU를 초월하는 성능을 기록했다.
• 제거 실험 결과, 혼합, 마진 손실, 음성 예제 추출 모두 필수 요소임을 확인하였으며, 어느 하나라도 제거하면 성능 저하 또는 모델 붕괴가 발생했다.