[論文レビュー] Strong Consistency of Prototype Based Clustering in Probabilistic Space

Vladimir Nikulin, McLachlan, Geoffrey J.|arXiv (Cornell University)|Apr 19, 2010

Bayesian Methods and Mixture Models参考文献 28被引用数 6

ひとこと要約

本稿では、確率的空間におけるプロトタイプベースクラスタリングの強い一致性を、Kullback-Leibler (KL) 発散を歪み尺度として用いて確立する。サンプルサイズが増加するにつれて、経験的リスク最小化原理がほとんど確実に真のリスクに収束することを証明し、不顕著または冗長なクラスタの生成を抑えるために、過学習を防ぐための正則化項を導入する。

ABSTRACT

In this paper we formulate in general terms an approach to prove strong consistency of the Empirical Risk Minimisation inductive principle applied to the prototype or distance based clustering. This approach was motivated by the Divisive Information-Theoretic Feature Clustering model in probabilistic space with Kullback-Leibler divergence which may be regarded as a special case within the Clustering Minimisation framework. Also, we propose clustering regularization restricting creation of additional clusters which are not significant or are not essentially different comparing with existing clusters.

研究の動機と目的

• 経験的リスク最小化の強い一貫性を証明するための一般的な理論的枠組みを確立すること。
• 学習理論のポラードの主要定理を、KL発散を備えた確率的空間へと拡張すること。
• プロトタイプベースクラスタリングにおける最適なクラスタ数を特定するという重要な課題に取り組むこと。
• 不要なクラスタ数の増加を罰則することで、有意でないまたは冗長なクラスタの形成を防ぐ正則化手法を提案すること。
• AIC/BIC基準よりも理論的根拠に基づき一貫性のあるクラスタサイズ選択を可能にする、実用的利便性を向上させる手法を提供すること。

提案手法

• データポイントとプロトタイプ間の歪みを測る損失関数を用いた、経験的リスク最小化に基づく一般化されたクラスタリング最小化（CM）フレームワークを定式化する。
• CMアルゴリズムを2段階の交互ステップで適用する：(1) データポイントを最も近いプロトタイプに割り当てる、(2) 経験的リスクを最小化するために、クラスタ平均としてプロトタイプを再推定する。
• 確率的空間 $\mathcal{P}^m$ において、歪み尺度としてKullback-Leibler (KL) 発散を用いる。データを確率分布としてモデル化する。
• 2つの補題を用いて、経験的リスクが真のリスクにほとんど確実に収束することを証明する：(1) 大きな $n$ に対して、すべての経験的プロトタイプが有界領域 $\Gamma$ 内に存在すること、(2) $\Gamma$ 上での経験的リスクから真のリスクへの一様収束。
• 過剰なクラスタリングを抑えるために、目的関数に正則化項 $C(k) = \frac{\alpha \beta k}{2}$ を導入する。ここで $\alpha$ は最小クラスタ確率閾値である。
• クラスタ分布間のKL発散を用いて、$k$ と $k-1$ 個のクラスタ間の経験的リスクの差の上限を導出する。これにより、合理的なクラスタの統合または分割の意思決定が可能になる。

実験結果

リサーチクエスチョン

• RQ1 プロトタイプベースクラスタリングの経験的リスクが、確率的空間において、どのような条件下で真のリスクにほとんど確実に収束するか？
• RQ2 KL発散を用いた $\mathcal{P}^m$ 上のK-meansに類似したアルゴリズムの理論的一貫性を、厳密に確立できるか？
• RQ3 クラスタサイズと分布的類似性が、プロトタイプベースクラスタリングの安定性および一貫性に与える影響は何か？
• RQ4 統計的に整合的な方法で、過剰なクラスタ数に起因する過学習をどのように緩和できるか？
• RQ5 有意に異なるか、意味のある大きさでないクラスタの生成を防ぐ正則化スキームを設計できるか？

主な発見

• サンプルサイズ $n \to \infty$ のとき、経験的リスク $\Re^{(k)}_{\text{emp}}[\mathcal{Q}_n]$ が真のリスク $\Re^{(k)}[\overline{\mathcal{Q}}]$ にほとんど確実に収束することを示し、確率的空間におけるCMアルゴリズムの強い一貫性を確立する。
• $k$ 個と $k-1$ 個のクラスタ間の経験的リスクの差が、$\frac{p_i p_c}{p_i + p_c} \cdot KL(q_i, q_c)$ で有界であることが示され、クラスタの有意性を定量的に測る指標が得られる。
• 正則化項 $C(k) = \frac{\alpha \beta k}{2}$ は、低確率のクラスタや既存のクラスタと高い類似性を持つクラスタの生成を効果的に抑制する。
• 提案された正則化手法は、AIC や BIC と比較して、クラスタ数選択がより安定的かつ解釈可能になる。AIC/BIC がクラスタ数推定に信頼性がないことが示された。
• 理論的枠組みは、やや強い正則性条件を満たす歪み尺度に対して一般に適用可能であり、KL発散がその主要な例である。
• 収束結果は、すべてのプロトタイプが十分に大きな $n$ に対して有界領域 $\Gamma$ 内に存在するという一般的な条件下で有効である。