[논문 리뷰] Binary Classification from Positive-Confidence Data

Takashi Ishida, Gang Niu외 1명|arXiv (Cornell University)|2017. 10. 19.

Anomaly Detection Techniques and Applications참고 문헌 39인용 수 23

한 줄 요약

이 논문은 긍정 데이터와 신뢰도 점수만을 사용하여 분류기를 훈련시키는 새로운 이진 분류 프레임워크인 Positive-Confidence (Pconf) 분류를 제안한다. 이 방법은 부정 또는 미레이블 데이터가 필요 없도록 하며, 긍정-신뢰도 데이터만을 사용하여 분류 위험을 재구성함으로써 일致한 경험적 위험 최소화를 가능하게 한다. 딥 네ural 네트워크를 사용한 Fashion-MNIST 및 CIFAR-10에서의 실험 결과, 전면 지도 학습과 비교할 만한 성능을 달성하였다.

ABSTRACT

Can we learn a binary classifier from only positive data, without any negative data or unlabeled data? We show that if one can equip positive data with confidence (positive-confidence), one can successfully learn a binary classifier, which we name positive-confidence (Pconf) classification. Our work is related to one-class classification which is aimed at "describing" the positive class by clustering-related methods, but one-class classification does not have the ability to tune hyper-parameters and their aim is not on "discriminating" positive and negative classes. For the Pconf classification problem, we provide a simple empirical risk minimization framework that is model-independent and optimization-independent. We theoretically establish the consistency and an estimation error bound, and demonstrate the usefulness of the proposed method for training deep neural networks through experiments.

연구 동기 및 목표

• 부정 또는 미레이블 데이터에 접근할 수 없지만, 긍정 데이터와 신뢰도 점수만 제공되는 상황에서 이진 분류 문제를 해결하는 것.
• 약한 지도 학습 하에서 분류기 모델 및 최적화 방법에 의존하지 않는 프레임워크를 개발하는 것.
• 제안된 방법의 이론적 일致성과 추정 오차 한계를 확립하는 것.
• 선형 모델과 딥 네ural 네트워크에서의 실험을 통해 실용적 효과성을 입증하는 것.
• 일반화된 단일 클래스 및 PU 분류의 한계를 극복하기 위해 신뢰도를 활용하여 클래스 사전 확률 추정을 회피하는 것.

제안 방법

• 분류 위험의 비편향 추정자에 기반한 위험 최소화 프레임워크를 제안하며, 이는 긍정-신뢰도 데이터에만 의존하는 재구성에 기반한다.
• 신뢰도 점수를 클래스 사전 확률 및 조건부 확률의 대체 수단으로 활용하여, 부정 데이터 없이도 추정이 가능하도록 한다.
• 모델 독립적이고 최적화 독립적인 접근 방식으로, 선형-파라미터 모델 및 딥 네ural 네트워크를 포함한 다양한 모델에 적용 가능하다.
• 구현을 위해 논문은 표준 훈련 설정을 사용하여 가우시안 커널 모델과 합성곱 신경망을 활용한다.
• PU 학습에서 주요 과제인 클래스 사전 확률 추정을 피하기 위해, 이러한 정보를 신뢰도 점수에 암묵적으로 통합한다.
• 이론적 분석을 통해 일치성과 온건한 정규성 조건 하에서의 유한 표본 추정 오차 한계를 확립한다.

실험 결과

연구 질문

• RQ1 부정 또는 미레이블 데이터 없이 긍정 데이터와 신뢰도 점수만을 사용하여 이진 분류기를 효과적으로 훈련시킬 수 있는가?
• RQ2 긍정 데이터의 신뢰도 점수를 어떻게 활용하여 일관되고 일반화 가능한 분류기를 구축할 수 있는가?
• RQ3 이러한 방법의 이론적 일반화 성능는 어떻게 되며, 기존의 약한 지도 학습 접근 방식과 비교해 볼 때 어떠한가?
• RQ4 실제 벤치마크에서 제안된 방법이 전면 지도 학습 수준의 성능에 도달할 수 있는가?
• RQ5 일반화된 단일 클래스 분류 및 PU 분류와 비교해 볼 때, 분류 능력과 하이퍼파ram터 튜닝 측면에서 본 방법은 어떠한가?

주요 결과

• 패션-MNIST 데이터셋에서, 티셔츠 대 비대칭 패딩 분류 시 Pconf 분류는 평균 정확도 92.14% ± 4.06%를 기록하여 가중치 기반 베이스라인(85.30% ± 9.07%)과 오토에코더 기반 방법(71.06% ± 1.00%)을 뛰어넘었다.
• 티셔츠 대 스웨터 분류 시 Pconf는 96.00% ± 0.29%를 기록하여 가중치 기반 베이스라인(96.08% ± 1.05%)과 유사하거나 이를 초월했으며, 오토에코더 방법(70.27% ± 1.22%)에 비해 뚜렷이 뛰어난 성능을 보였다.
• CIFAR-10에서 항공기 대 개 분류 시 Pconf 분류는 89.91% ± 0.85%의 정확도를 기록하여 최고의 베이스라인(89.60% ± 0.92%)과 유사했으며, 오토에코더 방법(62.64% ± 0.63%)에 비해 뚜렷이 뛰어났다.
• 여러 설정에서 Pconf 분류는 전면 지도 학습 방법과 동일하거나 이를 초월하는 성능을 기록했으며, 특히 티셔츠 대 코트 분류에서 98.12% ± 0.33%의 정확도를 기록하여 전면 지도 학습의 98.44% ± 0.13%와 유사한 성능를 보였다.
• 다양한 부정 클래스 선택에 대해 뛰어난 안정성과 일致성을 보였으며, 선형 및 딥 러닝 환경 모두에서 베이스라인 대비 뚜렷한 성능 향상과 강력한 일반화 능력을 입증했다.
• 이론적 분석을 통해 추정기의 일치성과 유한 표본 추정 오차 한계를 확인하였으며, 이는 방법의 통계적 신뢰성을 검증한다.