[논문 리뷰] Selective Clustering Annotated using Modes of Projections

Evan Greene, Greg Finak외 1명|arXiv (Cornell University)|2018. 07. 26.

Bayesian Methods and Mixture Models참고 문헌 58인용 수 5

한 줄 요약

이 논문은 고차원 데이터에서 단일 모드를 갖는 투영을 탐지하여 군집을 식별하는 비모수 군집 알고리즘인 선택적 투영 모드 기반 레이블링 군집(SelECtive Clustering Annotated using Modes of Projections, SCAMP)을 제안한다. 이 알고리즘은 다변량 밀도 추정 대신 일변량 밀도 추정에 의존함으로써 치명적인 차원의 극복 문제를 피한다. SCAMP는 비정규성, 높은 차원, 노이즈 등 다양한 시뮬레이션 환경에서도 뛰어난 군집 성능을 보이며, 구성 성분 분포가 정규분포에서 벗어나도 높은 정확도를 유지한다.

ABSTRACT

Selective clustering annotated using modes of projections (SCAMP) is a new clustering algorithm for data in $\mathbb{R}^p$. SCAMP is motivated from the point of view of non-parametric mixture modeling. Rather than maximizing a classification likelihood to determine cluster assignments, SCAMP casts clustering as a search and selection problem. One consequence of this problem formulation is that the number of clusters is $ extbf{not}$ a SCAMP tuning parameter. The search phase of SCAMP consists of finding sub-collections of the data matrix, called candidate clusters, that obey shape constraints along each coordinate projection. An extension of the dip test of Hartigan and Hartigan (1985) is developed to assist the search. Selection occurs by scoring each candidate cluster with a preference function that quantifies prior belief about the mixture composition. Clustering proceeds by selecting candidates to maximize their total preference score. SCAMP concludes by annotating each selected cluster with labels that describe how cluster-level statistics compare to certain dataset-level quantities. SCAMP can be run multiple times on a single data matrix. Comparison of annotations obtained across iterations provides a measure of clustering uncertainty. Simulation studies and applications to real data are considered. A C++ implementation with R interface is $\href{https://github.com/RGLab/scamp}{available\ online}$.

연구 동기 및 목표

• 비모수적 가정에 의존하지 않고도 비정규성 및 고차원 데이터에 대해 강건한 군집 알고리즘을 개발하는 것.
• 비모수적 모드 군집에서 차원의 비극복 문제를 해결하기 위해 다변량 밀도 추정 대신 일변량 밀도 추정을 사용하는 것.
• 겹치거나 비대칭적인 구성 성분 분포와 같은 복잡한 데이터 구조에서 군집 정확도를 향상시키기 위해 단일 모드 투영을 활용하는 것.
• 기존의 혼합모형 기반 및 밀도 기반 군집 방법에 비해 확장성과 계산 효율성이 뛰어난 고차원 환경에서의 대안을 제공하는 것.

제안 방법

• SCAMP는 각 군집이 개별 차원에 대해 단일 모드를 갖는 근사 분포를 이룬다는 가정 하에, 데이터 포인트의 각 차원에 따른 투영에서 단일 모드를 식별함으로써 군집을 탐지한다.
• 알고리즘은 전체 다변량 밀도 추정을 피하기 위해 일차원 슬라이스에서 국소 모드를 추정하는 투영 기반 접근법을 사용한다.
• 모델의 군집 분리 가능성을 향상시키기 위해 좌표를 네 가지 함수(제곱근, 지수, 제곱, 항등)를 순차적으로 변환한다.
• 다양한 투영에서 가장 안정적이고 유의미한 모드를 선택하여 데이터 포인트를 군집에 할당하는 선택적 군집 전략을 사용한다.
• 성분 분포가 각 차원에서 단일 모드를 가져야 한다는 조건을 만족하는 코풀라 기반 혼합 모델(1.1)에 기반한다.
• EM 기반 매개수 추정을 피하기 위해 비모수적 모드 구조에 집중함으로써 모형 잘못 설정에 대해 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 비모수 군집 방법이 차원의 비극복 문제를 겪지 않고도 고차원 데이터에서 높은 정확도를 달성할 수 있는가?
• RQ2 성분 분포가 정규분포에서 벗어나거나 비대칭성과 무거운 尾을 보일 경우 SCAMP의 성능은 어떠한가?
• RQ3 좌표 변환은 비정규 데이터에서 SCAMP의 군집 탐지 성능에 얼마나 기여하는가?
• RQ4 기존의 혼합모형 기반 및 밀도 기반 군집 방법과 비교할 때 SCAMP의 강건성과 계산 효율성은 어떠한가?
• RQ5 노이즈 성분과 다양한 표본 크기가 SCAMP의 군집 성능에 미치는 영향은 무엇인가?

주요 결과

• SCAMP는 고차원(20D) 및 대규모 표본(30,000건) 설정을 포함한 모든 시뮬레이션 환경에서 높은 군집 정확도를 달성했다.
• 시나리오 1(3,000건의 관측치)에서 SCAMP는 성분 평균이 {0,6} 또는 {0,3,6}에서 유래된 경우에도 정밀도가 높은 17개의 구분 가능한 군집을 정확히 식별했다.
• 시나리오 2(30,000건의 관측치)에서 SCAMP는 균형 잡힌 군집 크기 유지와 함께 자유도 5인 t분포 성분에 대해서도 강건성을 보였다.
• 다변량 t분포에서 유래한 30,000건의 노이즈 성분이 포함된 경우에도 SCAMP의 군집 정확도는 저하되지 않았으며, 노이즈는 어떤 군집에도 할당되지 않았다.
• 좌표 변환(예: 제곱근, 지수)은 비정규 분포 환경에서 군집 탐지 성능을 크게 향상시켰으며, 특히 비대칭성 또는 무거운 꼬리가 있는 경우에 유의미한 개선을 보였다.
• 시나리오 3에서는 크기가 50에서 3,950건 사이인 총 56개의 성분을 포함한 복잡한 데이터에서 SCAMP는 세밀한 군집 구조를 성공적으로 식별하여 강력한 확장성과 소규모 군집에 대한 민감성을 입증했다.