[논문 리뷰] Reducing over-clustering via the powered Chinese restaurant process

Jun Lu, Meng Li외 1명|arXiv (Cornell University)|2018. 02. 15.

Bayesian Methods and Mixture Models참고 문헌 22인용 수 10

한 줄 요약

이 논문은 디리클레 과정 혼합 모델의 과도한 클러스터링 문제를 줄이기 위해 작은, 불필요한 클러스터 생성을 제재하는 보정된 중국식 레스토랑 과정(pCRP)을 제안한다. 새로운 데이터 포인트가 기존 테이블이나 새로운 테이블에 할당될 확률을 재가중하기 위해 힘 매개변수를 도입함으로써, pCRP는 특히 MNIST와 올드 페스털 분기대와 같은 대규모 데이터셋에서 더 흐린, 더 해석 가능한 클러스터링 결과를 달성한다. 표준 CRP에 비해 클러스터 수가 상당히 감소한다.

ABSTRACT

Dirichlet process mixture (DPM) models tend to produce many small clusters regardless of whether they are needed to accurately characterize the data - this is particularly true for large data sets. However, interpretability, parsimony, data storage and communication costs all are hampered by having overly many clusters. We propose a powered Chinese restaurant process to limit this kind of problem and penalize over clustering. The method is illustrated using some simulation examples and data with large and small sample size including MNIST and the Old Faithful Geyser data.

연구 동기 및 목표

• 표본 크기가 증가함에 따라 지속적으로 발생하는 디리클레 과정 혼합 모델의 과도한 클러스터링 문제를 해결하기 위해.
• 작은, 중복된 클러스터의 수를 제한함으로써 모델의 해석 가능성 향상, 계산 오버헤드 감소, 데이터 저장 및 통신 비용 절감을 위해.
• 복잡한 깁스 유형 과정의 복잡한 대안을 단순하고 효과적으로 제공하면서도, 의미 없는 클러스터의 삭제를 유리하게 만들고 계산 가능성을 유지하는 방법을 개발하기 위해.
• 실제 데이터 환경에서 표준 CRP와 오라클 기반 CRP를 능가하는 실용적이고 비교적 가변적인 클러스터링 방법을 제공하기 위해.

제안 방법

• 새로운 고객이 기존 테이블이나 새로운 테이블에 할당될 확률을 힘 매개변수 r로 수정하는 보정된 중국식 레스토랑 과정(pCRP)을 제안한다.
• 기존 테이블 k에 합류할 확률은 N_{k,-i}^r 비례하며, 새로운 테이블에 할당될 확률은 α × N^{1-r} 비례한다. 여기서 r < 1일 경우 새로운 클러스터 생성 경향이 감소한다.
• 모델 적합도와 클러스터 흐릿함의 균형을 이루기 위해 데이터의 검증용 부분집합에서 힘 매개변수 r을 교차검증을 통해 추정한다.
• 보정된 전이 확률 기반으로 클러스터 할당을 업데이트하는 깁스 샘플러를 사용해 추론를 수행한다.
• 이 방법은 시뮬레이션 데이터와 실제 데이터셋(MNIST 숫자(1–4번 클래스) 및 올드 페스털 분기대 데이터 포함)에 모두 적용된다.
• pCRP는 표준 CRP와 CRP-오라클(조정된 CRP 버전)과 비교되며, 정규화 상호정보(NMI), 정보량의 변동(VI), 평균 및 최대 클러스터 수 등의 지표를 사용한다.

실험 결과

연구 질문

• RQ1 단순한 중국식 레스토랑 과정 수정이 유연성을 유지하면서도 디리클레 과정 혼합 모델의 과도한 클러스터링 문제를 줄일 수 있는가?
• RQ2 알려진 클러스터 구조를 가진 데이터셋에서 보정된 CRP는 표준 CRP 및 CRP-오라클에 비해 어떻게 성능을 내는가?
• RQ3 교차검증을 통해 추정된 힘 매개변수 r은 대규모 및 중간 크기의 표본 크기에서 더 단순하고 해석 가능한 클러스터링 결과를 이끌어내는가?
• RQ4 실제 데이터, 예를 들어 MNIST와 올드 페스털 분기대에서 pCRP는 작은, 허구적인 클러스터의 형성 정도를 얼마나 효과적으로 억제하는가?

주요 결과

• N=3000인 MNIST 데이터에서 pCRP는 평균 클러스터 수를 CRP의 5.44에서 4.57로 감소시켜 진짜 네 개의 숫자 구조에 더 가까워졌으며, 최대 클러스터 수도 9에서 7로 감소시켰다.
• N=272인 올드 페스털 분기대 데이터셋에서 CRP는 네 개의 성분을 생성했지만, pCRP와 CRP-오라클은 모두 진짜 두 성분의 구조를 회복하여 과도한 클러스터링 억제 효과를 입증했다.
• N=2000인 시뮬레이션에서 pCRP는 정규화 상호정보(NMI) 0.977과 정보량의 변동(VI) 0.072를 달성하여, CRP(NMI=0.940, VI=0.205)를 능가하고 오라클 성능에 가까워졌다.
• pCRP는 다양한 표본 크기에서 일관된 클러스터링 성능을 유지했으며, 평균 클러스터 수(K)가 N=1000일 때 4.08에서 N=3000일 때 4.57로 약간 증가하는 데 그쳤다. 반면 CRP는 4.58에서 5.44로 증가했다.
• MNIST에선 r=1.05, 올드 페스털에선 r=1.11로 추정되어, 약간의 힘 변환만으로도 클러스터의 단순성 향상이 상당히 이루어진다.
• NMI가 유사한 상황에서도 pCRP는 VI가 낮고 더 안정된 클러스터 수를 기록하여, 더 높은 클러스터 품질과 과적합 감소를 나타냈다.