[논문 리뷰] Strong Consistency of Prototype Based Clustering in Probabilistic Space

Vladimir Nikulin, McLachlan, Geoffrey J.|arXiv (Cornell University)|2010. 04. 19.

Bayesian Methods and Mixture Models참고 문헌 28인용 수 6

한 줄 요약

이 논문은 Kullback-Leibler (KL) 발산을 왜곡 측도로 사용하여 확률 공간에서 프로토타입 기반 클러스터링의 강력한 일致성을 확립한다. 표본 크기가 증가함에 따라 경험적 리스크 최소화 원리가 거의 확실히 진리 리스크로 수렴함을 증명하고, 불필요하거나 중복된 클러스터 생성을 막기 위해 과적합을 방지하는 정규화 항을 도입한다.

ABSTRACT

In this paper we formulate in general terms an approach to prove strong consistency of the Empirical Risk Minimisation inductive principle applied to the prototype or distance based clustering. This approach was motivated by the Divisive Information-Theoretic Feature Clustering model in probabilistic space with Kullback-Leibler divergence which may be regarded as a special case within the Clustering Minimisation framework. Also, we propose clustering regularization restricting creation of additional clusters which are not significant or are not essentially different comparing with existing clusters.

연구 동기 및 목표

• 경험적 리스크 최소화의 강력한 일치성을 증명하기 위한 일반적인 이론적 프레임워크를 수립하는 것.
• 학습 이론의 Pollard의 핵심 정리를 KL 발산을 갖춘 확률 공간으로 확장하는 것.
• 프로토타입 기반 클러스터링에서 최적의 클러스터 수를 결정하는 데 있어 핵심적인 과제를 해결하는 것.
• 불필요한 클러스터 수 증가를 방지하기 위해 정규화 방법을 제안하여 의미 없는 또는 중복되는 클러스터의 생성을 억제하는 것.
• AIC/BIC 기준보다 이론적으로 탄탄하고 일致성 있는 방식으로 클러스터 크기 선택을 수행할 수 있는 이론적 기반을 제공하는 것.

제안 방법

• 데이터 포인트와 프로토타입 간의 왜곡을 측정하는 손실 함수를 사용하여 경험적 리스크 최소화 기반의 일반 클러스터링 최소화(CM) 프레임워크를 수립한다.
• CM 알고리즘을 두 단계의 번갈아 적용으로 수행한다: (1) 데이터 포인트를 가장 가까운 프로토타입에 할당하고, (2) 경험적 리스크를 최소화하기 위해 클러스터 평균으로 프로토타입을 재추정한다.
• 확률 공간 $\mathcal{P}^m$에서 왜곡 측도로 Kullback-Leibler (KL) 발산을 사용하여 데이터를 확률 분포로 모델링한다.
• 두 개의 보조정리(보조정리 1: 충분히 큰 $n$에 대해 모든 경험적 프로토타입을 포함하는 유계 영역 $\Gamma$의 존재, 보조정리 2: $\Gamma$ 위에서 경험적 리스크가 진리 리스크로의 균일 수렴)를 사용하여 경험적 리스크가 진리 리스크로 거의 확실히 수렴함을 증명한다.
• 과다 클러스터링을 방지하기 위해 목표 함수에 정규화 항 $C(k) = \frac{\alpha \beta k}{2}$ 를 도입한다. 여기서 $\alpha$는 최소 클러스터 확률 임계값이다.
• 클러스터 분포 간의 KL 발산을 사용하여 $k$개와 $k-1$개 클러스터 간의 경험적 리스크 차이에 대한 경계를 유도함으로써, 체계적인 클러스터 병합 또는 분할 결정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 프로토타입 기반 클러스터링의 경험적 리스크가 확률 공간에서 거의 확실히 진리 리스크로 수렴하는 조건은 무엇인가?
• RQ2 KL 발산을 사용하는 $\mathcal{P}^m$에서 K-means 유사 알고리즘의 이론적 일치성을 엄밀하게 어떻게 확립할 수 있는가?
• RQ3 클러스터 크기와 분포 유사성은 프로토타입 기반 클러스터링의 안정성과 일치성에 어떤 영향을 미치는가?
• RQ4 과도한 클러스터 수로 인한 과적합을 통계적으로 타당한 방식으로 어떻게 완화할 수 있는가?
• RQ5 의미 없거나 너무 작은 클러스터가 생성되지 않도록 하는 정규화 체계를 설계할 수 있는가?

주요 결과

• 표본 수 $n \to \infty$ 일 때 경험적 리스크 $\Re^{(k)}_{\text{emp}}[\mathcal{Q}_n]$ 가 진리 리스크 $\Re^{(k)}[\overline{\mathcal{Q}}]$ 로 거의 확실히 수렴함을 증명하여, 확률 공간에서 CM 알고리즘이 강력한 일치성을 확보한다.
• $k$개와 $k-1$개 클러스터 간의 경험적 리스크 차이는 $\frac{p_i p_c}{p_i + p_c} \cdot KL(q_i, q_c)$ 로 경계지어지며, 이는 클러스터의 유의성에 대한 정량적 측도를 제공한다.
• 정규화 항 $C(k) = \frac{\alpha \beta k}{2}$ 는 낮은 확률을 가진 클러스터 또는 기존 클러스터와 높은 유사성을 가진 클러스터의 생성을 효과적으로 억제한다.
• 제안된 정규화 방법은 AIC 및 BIC에 비해 더 안정적이고 해석 가능한 클러스터 수 선택을 이끌어내며, 특히 클러스터 수 추정에 있어 AIC/BIC가 신뢰할 수 없음을 입증한다.
• 이론적 프레임워크는 약간의 정규성 조건을 만족하는 임의의 왜곡 측도에 적용 가능하며, KL 발산이 주요 예시이다.
• 유계 영역 $\Gamma$ 가 존재하여 충분히 큰 $n$ 에서 모든 프로토타입이 이 영역 내에 존재하는 일반 조건 하에서 수렴 결과가 유효하다.