[논문 리뷰] Microclustering: When the Cluster Sizes Grow Sublinearly with the Size of the Data Set

Jeffrey W. Miller, Brenda Betancourt외 3명|arXiv (Cornell University)|2015. 12. 02.

Bayesian Methods and Mixture Models참고 문헌 14인용 수 17

한 줄 요약

이 논문은 데이터 세트 크기와 함께 군집 크기가 선형보다 느리게 증가하는 군집 모델을 정의하는 마이크로클러스터링 성질을 도입한다—엔티티 해상과 같은 작업에 핵심적이다. 저자들은 이 성질을 만족하는 NBNB 모델을 제안하며, 희박하고 작은 군집을 가진 실제 및 시뮬레이션 데이터에 대해 표준 혼합 모델보다 뛰어난 적합도를 보인다.

ABSTRACT

Most generative models for clustering implicitly assume that the number of data points in each cluster grows linearly with the total number of data points. Finite mixture models, Dirichlet process mixture models, and Pitman--Yor process mixture models make this assumption, as do all other infinitely exchangeable clustering models. However, for some tasks, this assumption is undesirable. For example, when performing entity resolution, the size of each cluster is often unrelated to the size of the data set. Consequently, each cluster contains a negligible fraction of the total number of data points. Such tasks therefore require models that yield clusters whose sizes grow sublinearly with the size of the data set. We address this requirement by defining the \emph{microclustering property} and introducing a new model that exhibits this property. We compare this model to several commonly used clustering models by checking model fit using real and simulated data sets.

연구 동기 및 목표

• 데이터 크기 증가에 따라 군집 크기가 선형으로 증가하는 것으로 가정하는 표준 군집 모델의 한계를 해결하기 위해.
• 엔티티 해상 및 유사 작업에서는 데이터 세트가 크더라도 군집이 작게 유지되어야 하므로, 군집 크기가 선형보다 느리게 증가하는 모델이 필요하다는 것을 규명하기 위해.
• 마이크로클러스터링 성질를 형식적으로 정의하기 위해, 즉 최대 군집 크기 M_N가 N에 대해 비선형적으로 증가하는 조건(M_N / N → 0 in probability)을 만족하는 조건으로 정의하기 위해.
• 마이크로클러스터링 성질를 만족하고 이러한 작업에 적합한 새로운 베이지안 비모수 모델인 NBNB 모델을 제안하기 위해.
• 희박한 군집 구조를 가진 실제 및 시뮬레이션 데이터에 대해 표준 무한히 교환 가능한 모델들(DP, PYP, MFM 등)과 비교하여 NBNB 모델의 성능을 평가하기 위해.

제안 방법

• 마이크로클러스터링 성질를 M_N = o_p(N)로 정의하며, 여기서 M_N는 N개의 데이터 포인트로 구성된 분할에서 최대 군집 크기이다.
• 모든 데이터 포인트 간 교환 가능성을 가정하지 않는 새로운 분할에 대한 사전 분포로 NBNB(정규화된 베타-음이항분포) 모델을 도입함으로써 선형 성장 제약을 깨뜨림.
• 군집 크기를 생성하기 위해 정규화된 베타-이항분포 과정을 사용하여, 군집 크기의 비중이 높은 꼬리 분포를 허용하고, 군집 크기의 선형 성장보다 느린 성장을 가능하게 함.
• 중국 식당 과정 유사한 구조를 사용하지만, 스틱 브레이킹 과정을 수정하여 군집 크기가 작은 데 유리하도록 하며, 농도 파라미터를 N에 따라 의존시켜 선형 성장 보장 없이도 비선형 성장을 보장함.
• 관측된 분할의 확률을 최대화하는 모델 파라미터 선택을 위해 최대우도추정(MLE)을 적용하여 모델 비교를 가능하게 함.
• 후행 예측 검증을 통해 네 가지 주요 통계량을 사용해 모델 적합도 평가: 단일 군집 수, 최대 군집 크기, 평균 군집 크기, 군집 크기 90프센트일치값.

실험 결과

연구 질문

• RQ1 데이터 포인트 수와 함께 군집 크기가 선형보다 느리게 증가하는 군집 모델을 구축할 수 있는가?
• RQ2 마이크로클러스터링 성질는 어떻게 형식적으로 정의되고, 표준 교환 가능한 군집 모델과 어떻게 구별되는가?
• RQ3 이론적 및 실증적 평가에서 NBNB 모델이 마이크로클러스터링 성질를 만족하는가?
• RQ4 희박하고 작은 군집을 가진 데이터에 대해 NBNB 모델은 표준 무한히 교환 가능한 모델(DP, PYP, MFM 등)보다 얼마나 잘 적합하는가?
• RQ5 엔티티 해상 데이터의 핵심 특징인 높은 단일 군집 비율과 낮은 최대 군집 크기를 NBNB 모델이 더 잘 포착할 수 있는가?

주요 결과

• NBNB 모델은 실제로 마이크로클러스터링 성질를 성취하며, 최대 군집 크기 M_N가 N에 대해 비선형적으로 증가하여 M_N / N → 0 in probability 조건을 만족함.
• 실증 평가 결과, NBNB 모델은 시뮬레이션 및 실제 데이터(예: SHIW 설문 조사 데이터) 모두에서 MFM, DP, PYP 혼합 모델보다 단일 군집 수와 최대 군집 크기를 더 잘 포착함.
• 시뮬레이션 데이터(5,000개 포인트, 4,500개 군집)의 경우, NBNB 모델은 진짜 단일 군집 수(4,100개)와 최대 군집 크기(3개)를 정확히 재현하며, PYP 및 PERPS 모델보다 뛰어남.
• SHIW 데이터(789건, 약 74% 단일 군집)의 경우, NBNB 및 PERPS 모델이 진짜 단일 군집 수와 최대 군집 크기에 가장 가까움. 다만 어떤 모델도 완벽하게 이를 재현하지 못함.
• 두 데이터 세트 모두에서 NBNB 모델은 평균 군집 크기를 略적으로 과소평가하지만, 전반적으로 경쟁력 있음.
• 결과적으로 NBNB 모델은 데이터 세트 크기 증가에 따라 군집 크기가 선형보다 느리게 증가하는 작업, 예를 들어 엔티티 해상과 같은 과제에 강력한 후보임이 시사됨.