[論文レビュー] Strong Consistency of Factorial K-means Clustering

Yoshikazu Terada|arXiv (Cornell University)|Jan 4, 2013

Advanced Clustering Algorithms Research参考文献 9被引用数 4

ひとこと要約

この論文は、i.i.d.標本抽出のもとで因子的k-means（FKM）クラスタリングの強い一致性を確立している。これは、標本推定量が標本サイズが増加するにつれてほとんど確実に母集団最小化子に収束することを示す。証明はk-meansおよび低次元k-meansクラスタリングの枠組みを拡張し、一様な強大数法則とコンパクトなパrameter集合上での目的関数の連続性を活用している。

ABSTRACT

Factorial k-means (FKM) clustering is a method for clustering objects in a low-dimensional subspace. The advantage of this method is that the partition of objects and the low-dimensional subspace reflecting the cluster structure are obtained, simultaneously. Conditions that ensure the almost sure convergence of the estimator of FKM clustering as the sample size increases unboundedly are derived. The result is proved for a more general model including FKM clustering.

研究の動機と目的

• i.i.d.標本抽出条件下での因子的k-means（FKM）クラスタリングの強い一致性を確立すること。
• FKM目的関数の母集団レベルのグローバル最小化子の存在を保証する十分条件を導出すること。
• k-meansおよび低次元k-meansクラスタリングで用いられる理論的一致性枠組みをFKM設定に拡張すること。
• FKM目的関数の一様ほとんど確実収束およびその最小化子の連続性を証明すること。
• FKM推定量の収束速度に関する今後の研究の基盤を提供すること。

提案手法

• FKMクラスタリングを、次の経験的損失関数の最小化として形式化する：$ FKM_n(F, A) = \frac{1}{n} \sum_{i=1}^n \min_{1 \leq j \leq k} \|A^T \mathbf{x}_i - \mathbf{f}_j\|^2 $、ここで $ A $ は $ p \times q $ の正規直交行列であり、$ \mathbf{f}_j \in \mathbb{R}^q $ である。
• 強大数法則（SLLN）を用いて、経験的目的関数がその母集団対応物にほとんど確実に収束することを示す：$ \lim_{n \to \infty} FKM(F, A, P_n) = FKM(F, A, P) \text{ a.s.} $
• 最適なクラスタ中心 $ F_n $ が十分に大きな $ n $ に対してコンパクト集合 $ \mathcal{R}_k^*(5M) $ 内にほぼ確実に含まれることを確立し、推定量のタイトネスを保証する。
• Blum-DeHardtの一様SLLNを用いて、コンパクトパrameter空間上での目的関数の一様収束を証明する。
• 母集団目的関数 $ \Psi(\cdot, P) $ がコンパクト集合上で連続であることを利用して、最小化子の収束を確立する。
• 十分に大きな $ n $ に対して推定量 $ \hat{\theta}_n $ と一致する $ \tilde{\theta}_n $ を用いた摂動論法を実装し、$ \lim_{n \to \infty} d(\hat{\theta}_n, \Theta') = 0 \text{ a.s.} $ を証明する。

実験結果

リサーチクエスチョン

• RQ1 FKMクラスタリング推定量が、どのような条件下で母集団最小化子にほとんど確実に収束するか？
• RQ2 母集団FKM目的関数のグローバル最小化子の存在を保証する条件は何か？
• RQ3 FKMクラスタリングの強い一貫性は、k-meansおよび低次元k-meansクラスタリングのそれとどのように比較できるか？
• RQ4 コンパクトパrameter集合上でのFKM目的関数の一様SLLNおよび連続性を確立できるか？
• RQ5 最小限の確率的仮定のもとで、FKM推定量の収束に関する理論的基盤は何か？

主な発見

• 標本サイズが増加するにつれて、標本FKM推定量はほとんど確実に母集団最小化子に収束し、強い一貫性が確立された。
• 十分に大きな $ n $ に対して、最適なクラスタ中心 $ F_n $ はほとんど確実にコンパクト集合 $ \mathcal{R}_k^*(5M) $ 内に含まれ、推定量のタイトネスが保証された。
• 母集団目的関数 $ \Psi(\cdot, P) $ はコンパクトパrameter空間 $ \Theta_k^*(5M) $ 上で連続であり、最小化子の収束が可能になった。
• FKM目的関数はコンパクト集合上での一様SLLNを満たし、経験的損失から母集団損失への一様収束が保証された。
• 標本推定量 $ \hat{\theta}_n $ と母集団最小化子の集合 $ \Theta' $ 間の距離は、ほとんど確実にゼロに収束した。
• 結果はi.i.d.標本抽出のもとで成り立ち、SLLNに必要な仮定を超えて、定常かつ混合過程に対しても証明枠組みが拡張可能である。