[논문 리뷰] Revisiting Sample Selection Approach to Positive-Unlabeled Learning: Turning Unlabeled Data into Positive rather than Negative

Miao Xu, Bingcong Li외 3명|arXiv (Cornell University)|2019. 01. 29.

Machine Learning and Data Classification참고 문헌 38인용 수 4

한 줄 요약

이 논문은 깊이 있는 네트워크의 기억 특성(property)을 활용하여 훈련 중에 고손실(unlabeled) 샘플을 의사 양성 데이터로 선택하는 새로운 양성-무단일(PU) 학습 방법인 aaPU를 제안한다. 이 방법은 선택된 편향된 의사 양성 샘플들을 새로운 학습 목표를 통해 재가중함으로써, CIFAR-10, CIFAR-100, 20Newsgroups에서 최신의 중요도 재가중 방법인 nnPU를 능가한다. 이는 딥 러닝 환경에서 샘플 선택이 중요도 재가중을 능가할 수 있음을 보여준다.

ABSTRACT

In the early history of positive-unlabeled (PU) learning, the sample selection approach, which heuristically selects negative (N) data from U data, was explored extensively. However, this approach was later dominated by the importance reweighting approach, which carefully treats all U data as N data. May there be a new sample selection method that can outperform the latest importance reweighting method in the deep learning age? This paper is devoted to answering this question affirmatively---we propose to label large-loss U data as P, based on the memorization properties of deep networks. Since P data selected in such a way are biased, we develop a novel learning objective that can handle such biased P data properly. Experiments confirm the superiority of the proposed method.

연구 동기 및 목표

• 현대적인 샘플 선택 접근법이 딥 PU 학습에서 중요도 재가중 기법을 능가할 수 있는지 조사하는 것.
• 딥 네트워크를 사용할 때 무단일 집합에서 선택된 편향된 의사 양성 데이터 문제를 해결하는 것.
• 무단일 데이터에서 고손실 샘플을 양성으로 선택함으로써 발생하는 편향을 적절히 다룰 수 있는 새로운 학습 목표를 개발하는 것.
• 실제 및 시뮬레이션 데이터셋에서 기존의 중요도 재가중 기법(예: nnPU)에 비해 이 방법의 우수성을 입증하는 것.

제안 방법

• 딥 네트워크의 기억 특성에 기반하여, 교차 엔트로피 손실이 가장 높은 무단일 샘플(정답 레이블로 -1을 사용)을 의사 양성 데이터로 선택한다.
• 선택된 의사 양성 샘플의 편향을 고려한 새로운 학습 목표를 도입하여, 경험적 리스크를 과소평가하는 것을 방지한다.
• 선택된 의사 양성 데이터는 검증 손실이 안정화된 이후부터 이후 에포크 동안 훈련 세트에 영구적으로 추가된다.
• 동적 데이터 추가 전략을 사용하여, 데이터셋 및 모델 규모에 따라 매 에포크당 150개, 160개, 또는 320개의 샘플을 추가한다.
• 표준 딥 러닝 아키텍처(예: CIFAR에는 ResNet 유사 구조, 20Newsgroups에는 MLP)를 사용하며, 적응적 학습률 및 가중치 감쇠 스케줄을 적용한다.
• 이 방법은 엔드 투 엔드이며 온라인 방식으로 작동하며, 각 에포크 후에 새로운 의사 양성 샘플을 훈련 세트에 업데이트한다.

실험 결과

연구 질문

• RQ1 무단일 집합에서 양성 데이터를 선택하는 샘플 선택 접근법이 딥 PU 학습에서 현대적 중요도 재가중 기법을 능가할 수 있는가?
• RQ2 딥 네트워크의 동작 특성을 활용해 고손실 무단일 샘플을 신뢰성 있게 의사 양성 데이터로 식별할 수 있는가?
• RQ3 무단일 데이터에서 선택된 의사 양성 샘플에 내재된 편향을 효과적으로 다루기 위해 필요한 학습 목표는 무엇인가?
• RQ4 성능을 극대화하기 위해 의사 양성 샘플은 어느 훈련 단계에서, 그리고 어떤 빈도로 추가되어야 하는가?

주요 결과

• aaPU는 CIFAR-10, CIFAR-100, 20Newsgroups의 모든 벤치마크 데이터셋에서 nnPU보다 뛰어난 성능을 기록한다.
• CIFAR-100과 20Newsgroups에서 aaPU의 성능 향상은 특히 두드러지며, 60~100 에포크 이후에 명확한 개선이 관찰된다.
• 10회의 반복 실험 전반에 걸쳐 일관된 향상이 나타나 평균 정확도와 분산 측정치에서 높은 안정성을 입증한다.
• 충분한 수의 에포크가 지난 후에야 성능 향상이 나타나며, 이는 의사 양성 데이터를 추가하기 전에 안정된 모델 표현이 형성되어야 함을 시사한다.
• 매 에포크당 추가할 최적의 의사 양성 샘플 수는 [40, 80, 160, 320] 범위에 있으며, 더 큰 데이터셋에서는 160~320이 가장 우수한 성능을 낸다.
• 이 방법은 복잡한 딥 네트워크를 사용할 때에도 효과적이며, 기존 샘플 선택 기법이 겪는 과적합 문제를 극복한다.