[논문 리뷰] Self-PU: Self Boosted and Calibrated Positive-Unlabeled Training

Xuxi Chen, Wuyang Chen외 5명|arXiv (Cornell University)|2020. 06. 22.

Machine Learning and Data Classification인용 수 29

한 줄 요약

Self-PU는 자기 편집 학습, 자기 校정 손실 재가중, 교사-학생 네트워크 간 지식 정복을 통합한 새로운 자기지도 학습 프레임워크를 제안한다. 이는 MNIST 및 CIFAR-10 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 실제 세계의 알츠하이머병 신경영상 데이터셋인 알츠하이머병 신경영상 이니셔티브(ADNI)에서 새로운 SOTA를 수립하여 기존 PU 학습 방법들을 크게 능가한다.

ABSTRACT

Many real-world applications have to tackle the Positive-Unlabeled (PU) learning problem, i.e., learning binary classifiers from a large amount of unlabeled data and a few labeled positive examples. While current state-of-the-art methods employ importance reweighting to design various risk estimators, they ignored the learning capability of the model itself, which could have provided reliable supervision. This motivates us to propose a novel Self-PU learning framework, which seamlessly integrates PU learning and self-training. Self-PU highlights three "self"-oriented building blocks: a self-paced training algorithm that adaptively discovers and augments confident positive/negative examples as the training proceeds; a self-calibrated instance-aware loss; and a self-distillation scheme that introduces teacher-students learning as an effective regularization for PU learning. We demonstrate the state-of-the-art performance of Self-PU on common PU learning benchmarks (MNIST and CIFAR-10), which compare favorably against the latest competitors. Moreover, we study a real-world application of PU learning, i.e., classifying brain images of Alzheimer's Disease. Self-PU obtains significantly improved results on the renowned Alzheimer's Disease Neuroimaging Initiative (ADNI) database over existing methods. The code is publicly available at: https://github.com/TAMU-VITA/Self-PU.

연구 동기 및 목표

• 기존의 중요도 재가중에만 의존하는 PU 학습 방법의 한계를 해결하기 위해.
• 모델 자체의 학습 능력을 자기지도 학습을 통해 활용하여 PU 학습의 안정성과 성능을 향상시키기 위해.
• 알츠하이머병 신경영상 이니셔티브(ADNI)의 뇌 영상 데이터를 활용해 실제적이고 도전적인 새로운 벤치마크를 제안하기 위해.
• 자기지도 구성 요소인 자기 편집 선택, 자기 校정, 자기 정복이 저자료 환경에서 PU 학습 성능을 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• Self-PU는 반복적으로 신뢰도가 높은 미분류 예제를 식별하고, 신뢰할 수 있는 양성 및 음성 샘플 세트에 추가하는 자기 편집 학습 전략을 사용한다.
• 비음수 PU(nnPU) 위험 추정기와 자기 校정된 교차 엔트로피 손실을 조합한 하이브리드 손실을 도입하며, 후자는 메타학습을 통해 동적으로 재가중되어 불확실한 예제에 대한 보다 나은 감독을 제공한다.
• 예측 일致성을 정규화로 활용하는 다수의 교사-학생 네트워크를 사용한 자기 정복 기반의 학습 기법을 구현하여 학습 안정성을 높인다.
• 메타학습 기반의 校정 메커니즘을 사용해 불확실한 예제에 대한 손실 가중치를 적응적으로 조정함으로써 일반화 성능을 향상시킨다.
• 자기 편집 예제 선택, 자기 校정 손실, 자기 정복 지식 전이의 세 가지 자기 중심 구성 요소를 통합한다.
• 신뢰도 임계값 설정, 정복 스무딩, 손실 가중치 조정을 균형 있게 유지하기 위해 α, β, γ 등의 하이퍼파라미터를 조정하였으며, 최적의 값은 경험적으로 도출되었다.

실험 결과

연구 질문

• RQ1 모델의 자체 예측에서 유도하는 자기지도 학습이 전통적인 중요도 재가중을 넘어서 PU 학습 성능 향상에 기여할 수 있는가?
• RQ2 신뢰도가 높은 예제 선택을 위한 자기 편집 학습이 PU 학습의 안정성과 정확성에 어떤 영향을 미치는가?
• RQ3 자기 校정된 손실 재가중이 모호하거나 불확실한 예제에 대한 감독을 얼마나 향상시키는가?
• RQ4 교사-학생 모델 간 지식 정복이 약한 지도 학습 환경에서 효과적인 정규화로 작용할 수 있는가?
• RQ5 제안된 Self-PU 프레임워크가 알츠하이머병 분류와 같은 실제 복잡한 의료 영상 과제에 효과적으로 일반화되는가?

주요 결과

• MNIST에서 Self-PU는 uPU와 nnPU를 0.5% 이상 앞서며 새로운 최신 기술 수준(SOTA) 정확도를 달성한다.
• CIFAR-10에서 Self-PU는 nnPU를 1% 이상 초월하며, 1,000개의 양성 예제만으로도 3,000개의 양성 예제를 사용하는 DAN의 성능을 따라잡는다.
• 3,000개의 양성 예제를 사용할 경우 Self-PU는 DAN을 1% 초월하여 뛰어난 데이터 효율성을 보여준다.
• ADNI 데이터셋에서 Self-PU는 uPU와 nnPU보다 유의미하게 뛰어난 성능을 기록하며, 알츠하이머병 신경영상 분류 분야에서 PU 학습의 새로운 최신 기술 수준(SOTA)을 수립한다.
• Self-PU의 학습 과정은 uPU와 nnPU보다 훨씬 더 안정적이며, 과적합으로 인한 후기 단계 정확도 하락 현상을 피한다.
• 제거 실험 결과, 자기 편집 선택, 자기 校정, 자기 정복의 세 구성 요소가 상호 보완적으로 성능 향상에 기여하는 것으로 확인되었다.