[논문 리뷰] Estimating the class prior and posterior from noisy positives and unlabeled data

Shantanu Jain, Martha White외 1명|arXiv (Cornell University)|2016. 06. 28.

Machine Learning and Data Classification참고 문헌 22인용 수 72

한 줄 요약

이 논문은 고차원 설정에서 노이즈가 있는 양성-무작위 데이터로부터 클래스 사전확률과 사후분포를 추정하기 위한 새로운 방법을 제안한다. 차원 감소를 위해 클래스 사전확률를 유지하는 단변량 변환을 적용하고, 신뢰할 수 없는 커널 밀도 추정을 피하기 위해, 기존 방법에 비해 특히 레이블 노이즈와 고차원성 하에서 유의미하게 향상된 추정 정확도를 보이는 파라미터형 및 비파라미터형 알고리즘을 개발한다.

ABSTRACT

We develop a classification algorithm for estimating posterior distributions from positive-unlabeled data, that is robust to noise in the positive labels and effective for high-dimensional data. In recent years, several algorithms have been proposed to learn from positive-unlabeled data; however, many of these contributions remain theoretical, performing poorly on real high-dimensional data that is typically contaminated with noise. We build on this previous work to develop two practical classification algorithms that explicitly model the noise in the positive labels and utilize univariate transforms built on discriminative classifiers. We prove that these univariate transforms preserve the class prior, enabling estimation in the univariate space and avoiding kernel density estimation for high-dimensional data. The theoretical development and both parametric and nonparametric algorithms proposed here constitutes an important step towards wide-spread use of robust classification algorithms for positive-unlabeled data.

연구 동기 및 목표

• 고차원 데이터에서 노이즈가 있는 양성 레이블을 가진 경우에 실용적인 클래스 사전확률 추정 알고리즘이 부족한 문제를 해결한다.
• 청결한 레이블에 의존하거나 고차원 공간에서 성능이 열 劣한 기존 방법의 한계를 극복한다.
• 차원 감소 과정에서 클래스 사전확률를 유지함으로써 신뢰할 수 있는 밀도 추정을 가능하게 하는 프레임워크를 개발한다.
• 노이즈 있는 레이블링 하에서 클래스 사전확률 및 사후분포 추정을 위한 파라미터형 및 비파라미터형 알고리즘을 제공한다.
• 합성 및 실세계 데이터셋에서 제안된 방법의 유효성을 입증하여 최신 기준 기준보다 뛰어난 성능을 보인다.

제안 방법

• 노이즈가 있는 양성-무작위 데이터로부터의 클래스 사전확률 추정 문제를 정식화하고, 레이블 노이즈를 고려한 식별 가능성 이론을 확장한다.
• 클래스 사전확률를 유지하는 단변량 변환을 도입하여, 저차원 공간에서의 신뢰할 수 있는 밀도 추정을 가능하게 한다.
• z-점수 정규화된 데이터에 주성분분석(PCA)을 적용하여 클래스 사전확률 정보를 유지하면서 차원을 감소시킨다.
• 정규화된 히스토그램 기반 밀도 추정을 변환된 단변량 공간에서 수행하며, AMISE를 최소화하기 위해 정규 참고 규칙을 통해 히스토그램의 박스 폭을 선택한다.
• 클래스 사전확률를 유지하는 변환을 활용한 파라미터형 알고리즘(AlphaMax-N)과 비파라미터형 알고리즘(MSGMM-T)을 개발한다.
• 레이블이 있는 데이터와 레이블이 없는 데이터 양쪽에 모두 변환을 적용하여, 단변량 공간에서 추정된 클래스 사전확률가 원래 공간의 진짜 사전확률를 반영하도록 보장한다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 양성-무작위 학습에서 고차원 데이터에 대해 클래스 사전확률 추정이 레이블 노이즈에 대해 강건하게 유지될 수 있는가?
• RQ2 클래스 사전확률를 유지하는 단변량 변환은 직접적인 고차원 밀도 추정보다 더 정확한 사후분포 및 사전확률 추정을 가능하게 하는가?
• RQ3 제안된 방법은 기존 최신 기준 알고리즘과 비교해 추정 오차 및 계산 비용 측면에서 어떻게 성능을 내는가?
• RQ4 PCA 기반 차원 감소와 히스토그램 기반 밀도 추정의 조합이 노이즈가 있는 실세계 데이터셋에서 성능 향상에 기여하는가?
• RQ5 클래스 사전확률를 유지하는 변환은 파라미터형 및 비파라미터형 추정 프레임워크 양쪽에 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 AlphaMax-N 알고리즘은 클래스 사전확률를 유지하는 변환을 사용하여, 12개의 UCI 데이터셋 전반에서 변환 없이 사용한 AlphaMax-NM보다 유의미하게 낮은 추정 오차를 기록했으며, 평균 절대오차는 각각 0.037와 0.028이었다.
• AlphaMax-N는 변환을 사용하여 12개 데이터셋 중 10개에서 모든 다른 방법보다 뛰어난 성능를 보였으며, 8개의 경우에서 통계적으로 유의미한 결과(p < 0.05)를 보였다. 이는 레이블 노이즈에 대한 강건성을 입증한다.
• MSGMM-T(변환 사용)는 변환 없이 사용한 MSGMM보다 유의미하게 뛰어나, Landsat 데이터셋에서 평균 절대오차를 0.298에서 0.152로 감소시켰다. 이는 변환이 성능에 결정적인 역할을 한다는 것을 시사한다.
• Pima 데이터셋에서 AlphaMax-N는 변환을 사용하여 평균 절대오차 0.110을 기록했으며, MSGMM(0.292)와 AlphaMax-NM(0.156)보다 유의미하게 뛰어나, 고차원이고 노이즈가 많은 환경에서의 우수성을 입증한다.
• 상위 3개 주성분에서 분산의 75%만 유지되더라도 성능이 강력하게 유지되어, 중간 수준의 차원 감소에 대한 내성성을 보였다.
• 히스토그램 기반 밀도 추정에서 박스 폭 선택에 정규 참고 규칙을 사용함으로써 안정적이고 낮은 오차의 추정이 가능했으며, 특히 커널 밀도 추정이 실패하는 고차원 데이터에서 뛰어난 성능를 보였다.