[논문 리뷰] Mixture Proportion Estimation via Kernel Embedding of Distributions

Harish G. Ramaswamy, Clayton Scott외 1명|arXiv (Cornell University)|2016. 03. 08.

Machine Learning and Data Classification참고 문헌 21인용 수 41

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS)에 확률 분포를 커널 임베딩하는 방식을 사용하여 혼합 비율 추정(MPE)에 대한 새로운 효율적 알고리즘을 제안한다. ${\mathcal{C}}$-거리와 함께 볼록 2차 프로그래밍 문제로 MPE를 공식화하고, 분리성 조건을 도입함으로써 진정한 혼합 비율로의 증명 가능 수렴 속도를 달성하며, 조건부 확률 추정이 필요 없이 기존 방법들보다 표준 데이터셋에서 더 우수한 성능을 보인다.

ABSTRACT

Mixture proportion estimation (MPE) is the problem of estimating the weight of a component distribution in a mixture, given samples from the mixture and component. This problem constitutes a key part in many "weakly supervised learning" problems like learning with positive and unlabelled samples, learning with label noise, anomaly detection and crowdsourcing. While there have been several methods proposed to solve this problem, to the best of our knowledge no efficient algorithm with a proven convergence rate towards the true proportion exists for this problem. We fill this gap by constructing a provably correct algorithm for MPE, and derive convergence rates under certain assumptions on the distribution. Our method is based on embedding distributions onto an RKHS, and implementing it only requires solving a simple convex quadratic programming problem a few times. We run our algorithm on several standard classification datasets, and demonstrate that it performs comparably to or better than other algorithms on most datasets.

연구 동기 및 목표

• 비모수적 혼합 비율 추정(MPE)에 대해 최소한의 가정 하에 효율적이고 증명 가능 수렴성 있는 알고리즘의 부족을 해결하기 위해.
• 정확한 조건부 확률 추정이 필요 없도록 하는 방법을 개발하여, 단일 스칼라 비율을 추정하는 데 있어 계산 비용이 많이 들고 간접적인 방법을 피하기 위해.
• 성분 분포와 혼합 분포에 대한 새로운 분리성 조건 하에서 MPE의 이론적 수렴 속도를 확립하기 위해.
• 이진 검색과 볼록 최적화를 기반으로 한 실용적이고 구현 가능한 알고리즘을 제공하여 실제 세계 데이터셋에서 경쟁적인 성능을 내기 위해.

제안 방법

• 성분 분포와 혼합 분포를 양의 정부호 커널을 사용하여 재생 커널 힐버트 공간(RKHS)에 임베딩한다.
• ${\mathcal{C}}$-거리라는 함수를 도입하여, 후보 혼합 비율을 진짜 분포 일치와 추정된 분포 일치 사이의 이질성 측도로 매핑한다.
• 새로운 '분리성' 조건 하에서 ${\mathcal{C}}$-거리 함수는 진짜 혼합 비율을 유일한 최소화자로 식별한다.
• 알고리즘은 후보 비율에 대해 이진 검색을 수행하며, 각 단계에서 ${\mathcal{C}}$-거리를 평가하기 위해 단순한 볼록 2차 프로그래밍 문제를 해결한다.
• 모델 피팅이나 확률 추정이 필요 없이 혼합 분포와 성분 분포의 샘플만을 기반으로 한다.
• 분포의 분리성과 커널 연산자의 고유구조에 대한 가정 하에 수렴 속도를 유도한다.

실험 결과

연구 질문

• RQ1 최소한의 가정 하에 비모수적 혼합 비율 추정에 대해 증명 가능 수렴성과 효율성을 갖춘 알고리즘을 개발할 수 있는가?
• RQ2 RKHS에 대한 커널 임베딩이 조건부 확률 추정이 필요한 방법들보다 혼합 비율 추정을 더 직접적이고 정확하게 가능하게 하는가?
• RQ3 새로운 분리성 조건 하에서 제안된 추정기의 이론적 수렴 속도는 무엇인가?
• RQ4 실제 세계 데이터셋에서 제안된 방법의 성능은 기존 최첨단 MPE 알고리즘들과 비교해 어떻게 되는가?

주요 결과

• 제안된 방법은 분리성 조건 하에서 진짜 혼합 비율로 증명 가능 수렴을 달성하며, 표본 크기의 관점에서 수렴 속도가 유도된다.
• 알고리즘은 계산적으로 효율적이며, 단 몇 번의 볼록 2차 프로그래밍 해법만 필요하고 조건부 확률 추정이 필요하지 않다.
• waveform, mushroom, pageblocks, shuttle, spambase와 같은 표준 벤치마크 데이터셋에서, 특히 표본 크기가 클수록 절대 오차 측면에서 기존 알고리즘을 능가하거나 동등하게 유지한다.
• 다양한 데이터셋과 표본 크기에서 성능이 안정적이며, 16개의 데이터셋-표본 크기 조합 중 7개에서 평균 절대 오차가 가장 낮게 관측된다.
• 통계적 유의성 검정(Wilcoxon 부호 순위 검정)은 여러 설정에서 제안된 방법이 0.05 수준에서 몇몇 베이스라인을 유의미하게 능가한다는 것을 확인한다.
• 실증적으로 우수한 성능을 보이며, 오차가 표본 크기가 증가함에 따라 감소하는 경향을 보이며, 이는 유도된 이론적 수렴 속도와 일치한다.