[논문 리뷰] Flexible Models for Microclustering with Application to Entity Resolution

Giacomo Zanella, Brenda Betancourt외 4명|arXiv (Cornell University)|2016. 10. 31.

Data Quality and Management참고 문헌 15인용 수 12

한 줄 요약

이 논문은 데이터 크기에 따라 군집 크기가 비선형적으로 증가하는 마이크로클러스터링 성질을 보이는 새로운 유형의 유연한 클러스터링 모델—KP 모델—을 소개한다. 이는 실체 식별에 이상적인 특성이다. 제안된 NBNB 및 NBD 모델은 전통적인 무한적으로 교환 가능한 모델(DP, PYP)보다 실세계 데이터셋 4종에서 더 낮은 가짜 음성 및 가짜 양성 비율을 보이며 성능이 뛰어나다.

ABSTRACT

Most generative models for clustering implicitly assume that the number of data points in each cluster grows linearly with the total number of data points. Finite mixture models, Dirichlet process mixture models, and Pitman--Yor process mixture models make this assumption, as do all other infinitely exchangeable clustering models. However, for some applications, this assumption is inappropriate. For example, when performing entity resolution, the size of each cluster should be unrelated to the size of the data set, and each cluster should contain a negligible fraction of the total number of data points. These applications require models that yield clusters whose sizes grow sublinearly with the size of the data set. We address this requirement by defining the microclustering property and introducing a new class of models that can exhibit this property. We compare models within this class to two commonly used clustering models using four entity-resolution data sets.

연구 동기 및 목표

• 표준 클러스터링 모델이 데이터 크기에 비례해 선형적으로 군집 크기가 증가한다는 점의 한계를 해결한다.
• 실체 식별과 같은 응용 분야에서 군집 크기가 작고 비선형적으로 증가해야 한다는 조건을 충족하기 위해 마이크로클러스터링 성질을 정의하고 수학적으로 형식화한다.
• 계산적으로 타당한 동시에 마이크로클러스터링 성질을 보일 수 있는 모델의 새로운 클래스(KP 모델)를 개발한다.
• 실세계 데이터셋을 사용해 실체 식별 작업에서 표준 무한적으로 교환 가능한 모델(DP, PYP)과의 성능을 평가한다.
• 마이크로클러스터링 모델이 실체 식별에서 가짜 음성 및 가짜 양성 비율을 감소시키며, 특히 노이즈가 많거나 희소한 조건에서 우수한 성능을 보임을 입증한다.

제안 방법

• 마이크로클러스터링 성질을 정의: 군집 크기의 최댓값이 데이터 크기에 대해 비선형적으로 증가한다(즉, N → ∞ 일 때 M_N / N → 0 확률적으로).
• 서브라인어 클러스터 크기 증가를 가능하게 하는 탄력적인 분할에 대한 사전 분포를 기반으로 한 새로운 모델 클래스—KP 모델—제안.
• 두 가지 구체적 구현체인 NBNB(Negative Binomial-Dirichlet) 및 NBD(Negative Binomial-Discrete) 모델을 도입하며, 이는 군집 크기에 대한 탄력적인 사전 분포를 사용한다.
• 표준 DP/PYP 구조와 다름없이, 군집 크기 증가를 비선형적으로 이끄는 무작위 측도를 활용한 창고 식당 과정 유사한 구성 방식을 사용한다.
• 기댓값 추론을 MCMC 또는 변분 방법을 통해 구현하여 군집 할당과 모델 파라미터를 추정한다.
• 기록 유사도를 모델링하고 잠재적 실체 군집을 추정하는 방식으로, 모델을 실체 식별 프레임워크에 통합한다.

실험 결과

연구 질문

• RQ1 데이터 크기에 따라 군집 크기가 비선형적으로 증가하는 클러스터링 모델을 구성할 수 있는가? 이는 마이크로클러스터링 성질을 만족한다.
• RQ2 마이크로클러스터링 성질을 보이는 모델은 DP 및 PYP와 같은 표준 무한적으로 교환 가능한 모델과 비교해 실체 식별 작업에서 어떻게 성능을 내는가?
• RQ3 마이크로클러스터링은 가짜 음성 비율, 가짜 양성 비율, 기대 F1 스코어와 같은 핵심 실체 식별 지표에 어떤 영향을 미치는가?
• RQ4 다양한 데이터셋에서 NBNB 및 NBD 모델은 DP 및 PYP 모델과 비교해 진짜 실체 수(K)와 링크리지 임계치 δ를 추정하는 데 얼마나 우수한가?
• RQ5 군집 크기에 대한 탄력적인 사전 분포는 노이즈가 많거나 희소한 실체 식별 환경에서 성능을 향상시키는 데 기여하는가?

주요 결과

• NBNB 및 NBD 모델은 DP 및 PYP 모델과 달리 군집 크기가 비선형적으로 증가하는 마이크로클러스터링 성질을 성공적으로 구현하였다.
• 이탈리아 데이터셋에서 NBD 모델은 δ=0.02일 때 가짜 음성 비율 0.01, 가짜 양성 비율 0.09를 기록하며 DP 및 PYP 모델을 능가했다.
• Syria2000 데이터셋에서 NBD 모델은 가짜 음성 비율 0.67(δ=0.02), 가짜 양성 비율 0.28을 기록했고, DP 모델은 각각 0.70 및 0.27이었으며, 이는 유사하거나 더 우수한 성능을 보였다.
• SyriaSizes 데이터셋(δ=0.1)에서 NBD 모델은 진짜 K=4,075와 비교해 3,863.9개의 실체를 추정했고, 가짜 음성 비율 0.75, 가짜 양성 비율 0.22를 기록하며 F1 및 FDR 지표에서 DP 및 PYP를 능가했다.
• Syria2000 데이터셋에서 δ=0.1일 때 NBD 모델은 가장 낮은 기댓값 δ(0.03)를 보였으며, 이는 진짜 링크리지 임계치와의 일치도가 높음을 시사한다.
• 모든 데이터셋에서 NBNB 및 NBD 모델은 DP 및 PYP 모델보다 항상 낮은 가짜 음성 및 가짜 양성 비율을 기록했으며, 특히 δ=0.1일 때 노이즈가 많거나 데이터 품질이 떨어지는 조건에서도 뛰어난 내구성을 보였다.