[논문 리뷰] A Random Finite Set Model for Data Clustering

Dinh Phung, Ba‐Ngu Vo|arXiv (Cornell University)|2017. 03. 14.

Bayesian Methods and Mixture Models참고 문헌 32인용 수 3

한 줄 요약

이 논문은 알려지지 않은 클러스터 수를 가진 세트 값 데이터를 클러스터링하기 위해 디리클레 과정 혼합의 포아송 랜덤 유한 집합(DP-RFS)을 제안한다. 공액 사전분포와 축소된 지브스 샘플러를 활용하여 모델은 클러스터 수와 모수를 자동으로 추론하며, 기존 방법이 실패하는 극도로 불균형한 클러스터도 성공적으로 식별한다.

ABSTRACT

The goal of data clustering is to partition data points into groups to minimize a given objective function. While most existing clustering algorithms treat each data point as vector, in many applications each datum is not a vector but a point pattern or a set of points. Moreover, many existing clustering methods require the user to specify the number of clusters, which is not available in advance. This paper proposes a new class of models for data clustering that addresses set-valued data as well as unknown number of clusters, using a Dirichlet Process mixture of Poisson random finite sets. We also develop an efficient Markov Chain Monte Carlo posterior inference technique that can learn the number of clusters and mixture parameters automatically from the data. Numerical studies are presented to demonstrate the salient features of this new model, in particular its capacity to discover extremely unbalanced clusters in data.

연구 동기 및 목표

• 각 데이터 포인트가 고정된 차원을 가진 벡터가 아니라 유한한 특징 집합인 세트 값 데이터의 클러스터링 문제에 대처한다.
• 사전에 클러스터 수를 지정해야 하는 기존 클러스터링 알고리즘의 한계를 극복한다.
• 비모수 베이지안 방법을 사용하여 데이터로부터 클러스터 수와 혼합 모수를 추론할 수 있는 통계적으로 타당한 모델을 개발한다.
• 기본 알고리즘이 소수의 클러스터를 간과하기 쉬운 불균형 데이터 시나리오에서도 강력한 클러스터링을 가능하게 한다.
• 이미지 분석, 텍스트 모델링, 공간 데이터와 같이 자연스럽게 집합 형태로 나타나는 다양한 분야에 적용 가능한 일반적인 프레임워크를 제공한다.

제안 방법

• 각 데이터 포인트를 포아송 RFS의 실현으로 모델링함으로써 데이터 클러스터링을 랜덤 유한 집합(RFS) 문제로 공식화한다.
• 포아송 RFS 우도에 대한 공액 사전분포를 유도하여 모델 모수에 대한 분석적 마진화를 가능하게 한다.
• 클러스터 수에 대한 비모수 추론을 가능하게 하기 위해 혼합 가중치에 디리클레 과정 사전분포를 사용하여 무한 혼합 모델을 구성한다.
• 모델 모수를 통합하여 추론하는 축소된 지브스 샘플러를 구현함으로써 전체 지브스 샘플링 대비 수렴 속도를 향상시킨다.
• MCMC 샘플링 중 클러스터 할당과 모수 추정을 안내하기 위해 예측 밀도와 사후 예측 검증을 사용한다.
• 포아송 RFS의 유연성을 활용하여 희박하고 비대칭적이며 불균형한 클러스터 구조(예: 희귀 또는 이방성 클러스터 포함)를 모델링한다.

실험 결과

연구 질문

• RQ1 랜덤 유한 집합 기반의 비모수 베이지안 모델이 사전에 클러스터 수를 지정하지 않고도 세트 값 데이터를 효과적으로 클러스터링할 수 있는가?
• RQ2 주로 우세한 클러스터가 존재하는 상황에서, 제안된 DP-RFS 모델은 극도로 불균형한 클러스터, 특히 소수의 클러스터가 주로 우세한 클러스터에 의해 가려지는 경우에도 성능을 어떻게 보이는가?
• RQ3 포아송 RFS 우도에 대한 공액 사전분포 구조가 비모수 혼합 프레임워크에서 효율적이고 정확한 사후 추론을 얼마나 잘 가능하게 하는가?
• RQ4 DP-RFS 모델의 축소된 지브스 샘플러는 클러스터링 과제에서 표준 전체 지브스 샘플링 대비 수렴성과 정확도에서 어떻게 비교되는가?
• RQ5 희박하거나 불균형하거나 이방성 클러스터가 많은 상황에서, DP-RFS 모델은 무한 가우시안 혼합 모델(iGMM)과 같은 최첨단 기법을 초월할 수 있는가?

주요 결과

• DP-RFS 모델은 하나의 주요 클러스터(Poisson 비율 100)와 네 개의 희박한 이방성 클러스터(비율 0.5)를 가진 시뮬레이션 데이터셋에서 다섯 개의 클러스터를 성공적으로 식별했으며, iGMM은 네 개의 소수 클러스터를 완전히 누락시켰다.
• 모델은 주요 클러스터의 비율을 77.32로 추정하였고, 네 개의 이방성 클러스터는 0.34–0.38로 추정하여 진짜 값인 0.5와 밀접하게 일치시켰다.
• 모델 모수에 대한 마진화 덕분에 축소된 지브스 샘플러는 표준 전체 지브스 샘플러보다 더 빠른 수렴을 보였다.
• DP-RFS 모델은 초기 클러스터 수를 과대평가했지만, 진짜 수치로 수렴하는 모습을 보이며 초기 조건에 대해 강건함을 입증했다.
• 유한한 가우시안 혼합 모델(MoG)은 클러스터 수를 사전에 지정해야 하며 소수 클러스터를 탐지하지 못하는 반면, DP-RFS 모델은 자동으로 정확한 클러스터 수를 추론했다.
• 포아송 RFS 우도의 사용 덕분에 비대칭적이고 희박한 클러스터 구조를 모델링하는 데 충분한 유연성을 확보하여 희귀하거나 이상 패턴을 탐지할 수 있었다.