[논문 리뷰] Strong Consistency of Factorial K-means Clustering

Yoshikazu Terada|arXiv (Cornell University)|2013. 01. 04.

Advanced Clustering Algorithms Research참고 문헌 9인용 수 4

한 줄 요약

이 논문은 i.i.d. 표본 추출 조건 하에서 Factorial K-means (FKM) 군집화의 강한 일致성을 확립한다. 표본 추정량이 표본 크기가 증가함에 따라 인구 모수의 최소화자로 거의 확실히 수렴함을 증명한다. 증명은 k-means 및 감소형 k-means 군집화의 프레임워크를 확장하여, 균일한 강한 대수의 법칙과 컴acts한 매개변수 집합에서 목적 함수의 연속성을 활용한다.

ABSTRACT

Factorial k-means (FKM) clustering is a method for clustering objects in a low-dimensional subspace. The advantage of this method is that the partition of objects and the low-dimensional subspace reflecting the cluster structure are obtained, simultaneously. Conditions that ensure the almost sure convergence of the estimator of FKM clustering as the sample size increases unboundedly are derived. The result is proved for a more general model including FKM clustering.

연구 동기 및 목표

• i.i.d. 표본 추출 조건 하에서 Factorial K-means (FKM) 군집화의 강한 일치성을 확립하기 위해.
• FKM 목적 함수의 인구 수준 전역 최소화자가 존재함을 보장하는 충분한 조건을 도출하기 위해.
• k-means 및 감소형 k-means 군집화에서 사용된 이론적 일치 프레임워크를 FKM 설정으로 확장하기 위해.
• FKM 목적 함수의 균일한 거의 확실히 수렴성과 그 최소화자의 연속성을 증명하기 위해.
• 미래의 FKM 추정량 수렴 속도에 대한 연구를 위한 기초를 마련하기 위해.

제안 방법

• 표본 손실 함수의 최소화로 FKM 군집화를 수식화한다: $ FKM_n(F, A) = \frac{1}{n} \sum_{i=1}^n \min_{1 \leq j \leq k} \|A^T \mathbf{x}_i - \mathbf{f}_j\|^2 $, 여기서 $ A $ 는 $ p \times q $ 또는thonormal 행렬이며 $ \mathbf{f}_j \in \mathbb{R}^q $ 이다.
• 강한 대수의 법칙(SLLN)을 사용하여 표본 목적 함수가 그 인구 대응체로 거의 확실히 수렴함을 보인다: $ \lim_{n \to \infty} FKM(F, A, P_n) = FKM(F, A, P) \text{ a.s.} $
• 최적의 군집 중심 $ F_n $ 이 최종적으로 컴acts한 집합 $ \mathcal{R}_k^*(5M) $ 내에 존재함을 확립하여 추정량의 타이트함을 보장한다.
• Blum-DeHardt의 균일한 SLLN을 적용하여 컴acts한 매개변수 공간에서 목적 함수의 균일한 수렴성을 증명한다.
• 인구 목적 함수 $ \Psi(\cdot, P) $ 가 컴acts한 집합에서 연속임을 이용하여 최소화자의 수렴성을 확립한다.
• 큰 $ n $ 에서 추정량 $ \hat{\theta}_n $ 과 일치하는 $ \tilde{\theta}_n $ 을 통한 변형 기법을 구현하여 $ \lim_{n \to \infty} d(\hat{\theta}_n, \Theta') = 0 \text{ a.s.} $ 를 증명한다.

실험 결과

연구 질문

• RQ1 표본 크기가 증가함에 따라 FKM 군집화 추정량이 거의 확실히 인구 최소화자로 수렴하는 조건은 무엇인가?
• RQ2 인구 수준의 FKM 목적 함수에 대해 전역 최소화자가 존재함을 보장하는 조건은 무엇인가?
• RQ3 FKM 군집화의 강한 일치성은 k-means 및 감소형 k-means 군집화와 비교해 어떻게 다를까?
• RQ4 컴acts한 매개변수 집합에서 FKM 목적 함수의 균일한 SLLN과 연속성을 확립할 수 있는가?
• RQ5 최소한의 확률적 가정 하에서 FKM 추정량의 수렴에 대한 이론적 기초는 무엇인가?

주요 결과

• 표본 크기가 증가함에 따라 표본 FKM 추정량이 거의 확실히 인구 최소화자로 수렴함을 보여, 강한 일치성을 확립한다.
• 충분히 큰 $ n $ 에서 최적의 군집 중심 $ F_n $ 이 거의 확실히 컴acts한 집합 $ \mathcal{R}_k^*(5M) $ 내에 포함됨을 보여 추정량의 타이트함을 보장한다.
• 인구 목적 함수 $ \Psi(\cdot, P) $ 는 컴acts한 매개변수 공간 $ \Theta_k^*(5M) $ 에서 연속적이며, 이는 최소화자의 수렴을 가능하게 한다.
• FKM 목적 함수는 컴acts한 집합에서 균일한 SLLN을 만족하여, 표본 손실에서 인구 손실로의 균일한 수렴을 보장한다.
• 표본 추정량 $ \hat{\theta}_n $ 과 인구 최소화자 집합 $ \Theta' $ 사이의 거리가 거의 확실히 0으로 수렴한다.
• 결과는 i.i.d. 표본 추출 조건 하에서 성립하며, SLLN에 필요한 조건 이외에는 i.i.d. 가정이 필요 없이 정적 및 마르코프 과정으로도 일반화 가능하다.