[논문 리뷰] Clustering With Side Information: From a Probabilistic Model to a Deterministic Algorithm

Daniel Khashabi, John Wieting외 2명|arXiv (Cornell University)|2015. 08. 25.

Bayesian Methods and Mixture Models참고 문헌 24인용 수 11

한 줄 요약

이 논문은 노이즈가 있는 환경에서 클러스터링의 강건성을 향상시키기 위해 데이터와 부가 정보(쌍별 제약 조건)를 동시에 모델링하는 비모수 베이지안 모델인 TVClust을 제안한다. 이 모델에서 유도된 RDP-means는 클러스터 수를 사전에 지정할 필요 없이 관계적 부가 정보를 통합하는 결정론적 클러스터링 알고리즘으로, 기존의 제약 조건이 있는 클러스터링 방법들보다 노이즈가 많은 입력 및 잘못된 입력에서 뛰어난 성능을 보인다.

ABSTRACT

In this paper, we propose a model-based clustering method (TVClust) that robustly incorporates noisy side information as soft-constraints and aims to seek a consensus between side information and the observed data. Our method is based on a nonparametric Bayesian hierarchical model that combines the probabilistic model for the data instance and the one for the side-information. An efficient Gibbs sampling algorithm is proposed for posterior inference. Using the small-variance asymptotics of our probabilistic model, we then derive a new deterministic clustering algorithm (RDP-means). It can be viewed as an extension of K-means that allows for the inclusion of side information and has the additional property that the number of clusters does not need to be specified a priori. Empirical studies have been carried out to compare our work with many constrained clustering algorithms from the literature on both a variety of data sets and under a variety of conditions such as using noisy side information and erroneous k values. The results of our experiments show strong results for our probabilistic and deterministic approaches under these conditions when compared to other algorithms in the literature.

연구 동기 및 목표

• 노이즈가 많고 히우리스틱 기반인 부가 정보를 지상 진실로 간주하지 않고 클러스터링에 통합하는 문제에 대응하기 위해.
• 데이터와 쌍별 제약 조건을 동시에 학습할 수 있는 원칙적인 확률 모델을 개발하기 위해.
• 비모수 베이지안 모델의 점근적 분석을 통해 결정론적 클러스터링 알고리즘을 유도함으로써 자동으로 클러스터 수를 추정할 수 있도록 하기 위해.
• 노이즈가 많은 부가 정보와 잘못된 k값에 대한 강건성을 평가하기 위해. 이는 실제 클러스터링에서 흔한 문제이다.

제안 방법

• 데이터에 대한 디리슈레 과정 혼합 모델과 부가 정보에 대한 무작위 그래프 모델을 조합한 두 시각의 비모수 베이지안 모델인 TVClust을 제안한다.
• TVClust 모델의 사후 추론을 위해 게이브스 샘플링을 사용하여 클러스터 할당과 모델 파라미터를 추정한다.
• TVClust 모델에 대해 미소 분산 점근적 분석을 적용하여, 관계 제약 조건을 통합한 DP-means를 일반화한 결정론적 알고리즘인 RDP-means를 도출한다.
• RDP-means는 다항분포 데이터(예: SIFT 특징)에 대해 KL 발산을 사용하며, must-link 제약 조건을 관계적 페널티 항을 통해 통합한다.
• 알고리즘은 근접도와 제약 조건 일관성 기반으로 구성 요소를 병합함으로써 클러스터 수를 동적으로 결정한다.
• 이산 특징 공간에서 KL 발산 계산을 안정화하기 위해 라플라스 스무딩(α=0.3)을 적용한다.

실험 결과

연구 질문

• RQ1 노이즈가 많고 완전히 신뢰할 수 없는 부가 정보를 클러스터링에 어떻게 강건하게 통합할 수 있는가?
• RQ2 데이터와 제약 조건을 동시에 모델링하는 원칙적인 확률 모델이 기존의 제약 조건이 있는 클러스터링 알고리즘을 능가할 수 있는가?
• RQ3 베이지안 모델의 미소 분산 점근적 근사에서 유도된 결정론적 알고리즘이 잘못된 k값에 대해 효과적이면서도 강건한가?
• RQ4 제약 조건 수가 제한적인 상황에서 관계적 부가 정보의 포함 여부가 클러스터링 성능에 어떤 영향을 미치는가?

주요 결과

• UCI 데이터셋에서 고노이즈 조건(p=1, r=0.03) 하에서 RDP-means는 F-측정값 0.96을 기록하여 동일 조건에서 MPCKMeans(0.58)와 LCVQE(0.86)를 크게 앞서나간다.
• ImageNet 데이터셋에서 다항분포 모델링을 사용한 RDP-means는 F-측정값 0.44를 기록하여 가우시안 모델(0.20)과 K-means(0.25)를 모두 능가한다.
• RDP-means는 다양한 k값에서도 높은 안정성을 유지하며, k값이 ±3 범위로 변동하더라도 F-측정값이 0.82 이상 유지되어 잘못된 k 입력에 대한 강건성을 입증한다.
• RDP-means의 성능은 제약 조건 샘플링 비율이 증가함에 따라 단조롭게 향상되며, 전체 쌍의 6%만 샘플링해도 거의 최적에 수렴하는 결과를 보였다.
• TVClust(변분 추론)는 UCI 데이터셋 전반에서 F-측정값 0.72~0.79를 기록하여 노이즈가 많은 제약 조건 하에서도 뛰어난 성능을 보였다.
• 이 방법은 노이즈가 많은 부가 정보와 잘못된 k값에 모두 강건하며, RDP-means와 TVClust가 외부 요동에 의해 성능 저하가 최소한으로 발생하는 것으로 나타났다.