[論文レビュー] Strong Consistency of Reduced K-means Clustering

Yoshikazu Terada|arXiv (Cornell University)|Dec 20, 2012

Face and Expression Recognition参考文献 13被引用数 4

ひとこと要約

この論文は、i.i.d. ランダムサンプリングの下で、Reduced K-means (RKM) クラスタリングの強い一致性を、Pollardのk-means一貫性フレームワークを拡張することで確立している。RKM推定量が標本サイズが増加するにつれてほとんど確実に母集団最小化子に収束することを証明し、クラスタ数が与えられたもとで最適な部分空間次元を選択する一貫性のある基準を提案している。

ABSTRACT

Reduced k-means clustering is a method for clustering objects in a low-dimensional subspace. The advantage of this method is that both clustering of objects and low-dimensional subspace reflecting the cluster structure are simultaneously obtained. In this paper, the relationship between conventional k-means clustering and reduced k-means clustering is discussed. Conditions ensuring almost sure convergence of the estimator of reduced k-means clustering as unboundedly increasing sample size have been presented. The results for a more general model considering conventional k-means clustering and reduced k-means clustering are provided in this paper. Moreover, a new criterion and its consistent estimator are proposed to determine the optimal dimension number of a subspace, given the number of clusters.

研究の動機と目的

• i.i.d. ランダムサンプリングの下でReduced K-meansクラスタリングの理論的基盤を確立し、その強い一貫性を証明すること。
• RKMクラスタリングは他の点で記述的であるが、統計的性質の欠如を解消すること。
• RKMにおける回転不確定性の問題を、母集団グローバル最小化子の存在に関する条件を導出することで解決すること。
• 与えられたクラスタ数 $ k $ のもとで、低次元部分空間における最適次元数 $ q $ を特定するための新しい一貫性のある基準とその推定量を提案すること。
• 数値実験を通じて、提案された基準が最適な部分空間次元を効果的に特定できることを示すこと

提案手法

• 強大数法則（SLLN）および一様SLLNを用いて、RKM目的関数の収束を分析する。
• ステーショナリティとエルゴドリシティのみを要件とするBlum-DeHardtの一様SLLNを適用し、経験的推定量のほとんど確実な収束を保証する。
• RKM目的関数を、低次元部分空間におけるクラスタ内平方和の平均を最小化することとして定義する：$ RKM_n = \frac{1}{n}\sum_{i=1}^n \min_{1\leq j\leq k} \|\mathbf{x}_i - A\mathbf{f}_j\|^2 $、ここで $ A $ は正規直交であり、$ \mathbf{f}_j \in \mathbb{R}^q $ である。
• 新しい基準 $ \widehat{VR}(q) $ とその一貫性のある推定量を導入し、与えられたクラスタ数 $ k $ のもとで最適な部分空間次元 $ q $ を選択する。
• RKM最適化問題を解くために、交互に最小二乗法を用い、クラスタ割り当て、重心、部分空間射影行列を繰り返し更新する。
• 既知のクラスタ構造を持つシミュレーテッドデータにおいて、異なる $ q $ 値での調整ランダ指数（ARI）の比較を通じて、提案基準の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 標本サイズが増加するにつれて、Reduced K-meansクラスタリング推定量が母集団最小化子にほとんど確実に収束する条件は何か？
• RQ2 理論的一致性解析において、RKMの回転不確定性はどのように扱えるか？
• RQ3 母集団レベルのRKM目的関数におけるグローバル最小化子の存在を保証する条件は何か？
• RQ4 与えられたクラスタ数 $ k $ のもとで、部分空間における最適次元数 $ q $ を特定する一貫性のある推定量を開発できるか？
• RQ5 他の手法（例：タンデムクラスタリング）と比較して、提案基準は真の部分空間次元をどれほど効果的に特定できるか？

主な発見

• RKMクラスタリング推定量は、i.i.d. ランダムサンプリングの下で強い一貫性を示し、$ n \to \infty $ のときほとんど確実に母集団最小化子に収束する。これは、Pollardのk-means一貫性フレームワークを拡張したものである。
• 母集団グローバル最小化子の存在に関する十分条件を導出し、RKMにおける回転不確定性の課題を克服した。
• 提案された基準 $ \widehat{VR}(q) $ とその一貫性のある推定量は、最適な部分空間次元を効果的に特定でき、1000個のシミュレーテッドデータセットにおいて84%～95%の一致率を示した。
• 数値実験では、最適な $ q $ を用いたRKMは調整ランダ指数（ARI）が0.99に達し、最初の2つの主成分がクラスタ構造を反映しない場合、タンデムクラスタリング（ARI = 0.26）を著しく上回った。
• 母集団分布が有界な台を持つと仮定したもとで、RKM推定量の収束速度が有界であることが示され、Linderら（1994）の結果から明示的な集中不等式が導出された。
• この手法はi.i.d. サンプリングに限定されず、定常エルゴドリック過程に対しても適用可能であり、理論的適用範囲を広げた。