[논문 리뷰] Strong Consistency of Reduced K-means Clustering

Yoshikazu Terada|arXiv (Cornell University)|2012. 12. 20.

Face and Expression Recognition참고 문헌 13인용 수 4

한 줄 요약

이 논문은 i.i.d. 표본 추출 하에서 Reduced K-means (RKM) 군집화의 강한 일致성을 확립한다. Pollard의 k-means 일치성 프레임워크를 확장하여, 표본 크기가 증가함에 따라 RKM 추정량이 거의 확실히 모수 최소화자로 수렴함을 증명하고, 군집 수가 주어졌을 때 최적의 부분공간 차원을 선택하기 위한 일致성 기준을 제안한다.

ABSTRACT

Reduced k-means clustering is a method for clustering objects in a low-dimensional subspace. The advantage of this method is that both clustering of objects and low-dimensional subspace reflecting the cluster structure are simultaneously obtained. In this paper, the relationship between conventional k-means clustering and reduced k-means clustering is discussed. Conditions ensuring almost sure convergence of the estimator of reduced k-means clustering as unboundedly increasing sample size have been presented. The results for a more general model considering conventional k-means clustering and reduced k-means clustering are provided in this paper. Moreover, a new criterion and its consistent estimator are proposed to determine the optimal dimension number of a subspace, given the number of clusters.

연구 동기 및 목표

• i.i.d. 표본 추출 하에서 Reduced K-means 군집화의 이론적 기반을 확립하기 위해 그 강한 일치성을 증명하는 것.
• 기타로는 서술적 방법에 불과한 RKM 군집화의 통계적 성질의 부족을 보완하는 것.
• RKM에서 발생하는 회전 불확정성 문제를 해결하기 위해 모수 수준의 전역 최소화자 존재 조건을 도출하는 것.
• 낮은 차원 부분공간에서 최적의 차원 수를 결정하기 위한 새로운 일치성 기준과 그 추정량을 제안하는 것.
• 수치 실험을 통해 제안된 기준이 최적의 부분공간 차원을 효과적으로 식별함을 보여주는 것.

제안 방법

• 강한 법칙의 대수법칙(SLLN)과 균일 SLLN을 사용하여 RKM 목표 함수의 수렴성을 분석한다.
• 단지 정상성과 에르고딕성을 요구하는 Blum-DeHardt의 균일 SLLN을 적용하여 경험적 추정량의 거의 확실한 수렴을 보장한다.
• RKM 목표 함수를 낮은 차원 부분공간에서의 평균 군집 내 제곱합 최소화로 정의한다: $ RKM_n = \frac{1}{n}\sum_{i=1}^n \min_{1\leq j\leq k} \|\mathbf{x}_i - A\mathbf{f}_j\|^2 $, 여기서 $ A $ 는 정규직교이고 $ \mathbf{f}_j \in \mathbb{R}^q $ 이다.
• 최적의 부분공간 차원 $ q $ 를 선택하기 위한 새로운 기준 $ \widehat{VR}(q) $ 와 그 일치성 추정량을 도입한다. 이는 군집 수 $ k $ 가 주어졌을 때 적용된다.
• RKM 최적화 문제를 해결하기 위해 교차 최소제곱법을 사용하며, 반복적으로 군집 할당, 중심점, 부분공간 투영 행렬을 갱신한다.
• 모의 데이터에서 알려진 군집 구조를 가진 상황에서, 다양한 $ q $ 값에 대해 조정된 Rand 지수(ARI) 비교를 통해 제안된 기준을 검증한다.

실험 결과

연구 질문

• RQ1 표본 크기가 증가함에 따라 Reduced K-means 군집화 추정량이 거의 확실히 모수 최소화자로 수렴하기 위한 조건은 무엇인가?
• RQ2 표본 크기가 증가함에 따라 RKM의 회전 불확정성 문제를 이론적 일치성 분석에서 어떻게 다룰 수 있는가?
• RQ3 모수 수준의 RKM 목표 함수에서 전역 최소화자의 존재를 보장하기 위한 조건은 무엇인가?
• RQ4 주어진 군집 수 $ k $ 에 대해 부분공간의 최적 차원 수 $ q $ 를 선택하기 위한 일치성 추정량을 개발할 수 있는가?
• RQ5 제안된 기준은 타원형 군집화와 비교해 볼 때 진정한 부분공간 차원을 식별하는 데 얼마나 효과적인가?

주요 결과

• RKM 군집화 추정량은 i.i.d. 표본 추출 하에서 강한 일치성을 보이며, $ n \to \infty $ 일 때 거의 확실히 모수 최소화자로 수렴함을 증명하였다. 이는 Pollard의 k-means 일치성 프레임워크를 확장한 결과이다.
• RKM에서 모수 전역 최소화자의 존재를 위한 충분 조건을 도출하여, RKM에서 발생하는 회전 불확정성 문제를 해결하였다.
• 제안된 기준 $ \widehat{VR}(q) $ 와 그 일치성 추정량은 최적의 부분공간 차원을 성공적으로 식별하였으며, 1000개의 모의 데이터셋에서 84%에서 95%의 일치율을 보였다.
• 수치 실험 결과, 최적의 $ q $ 를 가진 RKM는 조정된 Rand 지수(ARI) 0.99를 달성하였으며, 첫 두 주성분이 군집 구조를 반영하지 못하는 상황에서 타원형 군집화(ARI = 0.26)보다 유의미하게 뛰어난 성능을 보였다.
• 모수 분포가 유계 지지집합을 가진다고 가정할 경우 RKM 추정량의 수렴 속도는 유계이며, Linder 등(1994)의 결과로부터 명시적인 농도 경계가 유도되었다.
• 이 방법은 i.i.d. 표본 추출에 국한되지 않고 정상적이고 에르고딕한 과정에도 적용 가능하여 이론적 적용 범위를 넓혔다.