[論文レビュー] Moment-based Uniform Deviation Bounds for $k$-means and Friends

Matus Telgarsky, Sanjoy Dasgupta|arXiv (Cornell University)|Nov 8, 2013

Bayesian Methods and Mixture Models参考文献 10被引用数 7

ひとこと要約

本稿は、有界性やサブガウス性を仮定しない弱いモーメント仮定の下で、$k$-meansおよびガウス混合モデルに対するモーメントに基づく一様偏差バウンドを確立する。未定義のパrameter空間における偏差を制御するための新規なアウター・ブラケット化技術を導入し、$k$-meansでは$p \geq 4$のモーメントに対して$\mathcal{O}(m^{-1/4})$、ガウス混合モデルでは$p \geq 8$のモーメントに対して$\mathcal{O}(m^{-1/2 + 3/p})$のレートを達成する。

ABSTRACT

Suppose $k$ centers are fit to $m$ points by heuristically minimizing the $k$-means cost; what is the corresponding fit over the source distribution? This question is resolved here for distributions with $p\geq 4$ bounded moments; in particular, the difference between the sample cost and distribution cost decays with $m$ and $p$ as $m^{\min\{-1/4, -1/2+2/p\}}$. The essential technical contribution is a mechanism to uniformly control deviations in the face of unbounded parameter sets, cost functions, and source distributions. To further demonstrate this mechanism, a soft clustering variant of $k$-means cost is also considered, namely the log likelihood of a Gaussian mixture, subject to the constraint that all covariance matrices have bounded spectrum. Lastly, a rate with refined constants is provided for $k$-means instances possessing some cluster structure.

研究の動機と目的

• 有界またはサブガウス性を仮定しない有限標本の偏差バウンドを、$k$-meansおよびソフトクラスタリング（ガウス混合モデルの対数尤度）に対して提供すること。
• パrameter空間およびコスト関数が非有界である場合の、一様偏差を制御する課題に対処すること。
• モーメント条件（$k$-meansでは$p \geq 4$、混合モデルでは$p \geq 8$）にのみ依存することで、重い尾を持つ分布への一貫性結果の拡張。
• 非有界パrameter集合全体にわたる偏差を一様に制御する一般化されたメカニズム「アウター・ブラケット化」を構築すること。
• クラスタ構造が存在する場合に$k$-meansのレートを精緻化し、一般のバウンドを上回ること。

提案手法

• 重い尾を持つ分布の裾の偏差を制御するための「アウター・ブラケット化」を導入。遠く離れた点の寄与をモーメント仮定を用いてバウンドすることで、偏差を制御する。
• ドミネートド・コネルージョン定理を用いて、1つのボール$B_i$が、有界距離内にあるすべての中心の偏差を制御できることを示し、問題を局所的およびアウターの偏差制御に還元する。
• チェビシェフ型不等式を用いてコンact集合内での局所的偏差を制御する一方で、モーメントに基づくバウンドを用いて尾（アウター）の偏差を制御する。
• パrameter空間にネット$\mathcal{N}$を構築して問題を離散化し、被覆の議論と半径のモーメントに基づくバウンドを用いてサイズを制御する。
• 共分散行列のスペクトルノルムを制御し、モーメントに基づく集中を用いてガウス混合モデルの対数尤度の偏差を導出する。
• ネット被覆と高確率の偏差バウンドを組み合わせ、コスト閾値$c$を満たすすべてのパラメータ設定に対して一様収束レートを導出する。

実験結果

リサーチクエスチョン

• RQ1 元の分布が$p \geq 4$のモーメントしか持たない場合、有界性やサブガウス性を仮定しない$k$-meansに対して、どのように一様偏差バウンドを確立できるか？
• RQ2 共分散行列のスペクトルノルムが有界であると仮定した場合、ガウス混合モデルの対数尤度に対して、モーメント仮定のもとで一様偏差バウンドを導出できるか？
• RQ3 弱いモーメント条件の下で、$k$-meansおよびソフト$k$-meansの標本コストから母集団コストへの収束レートは何か？
• RQ4 モーメント仮定のみを用いて、非有界パrameter集合およびコスト関数全体にわたる偏差制御をどのように維持できるか？
• RQ5 データに内在するクラスタ構造がある場合、偏差レートを改善できるか？

主な発見

• $k$-meansで$p \geq 4$のモーメントが成り立つ場合、標本コストと母集団コストの間の一律偏差は$\mathcal{O}(m^{\min\{-1/4, -1/2 + 2/p\}})$のレートで減少する。
• ガウス混合モデルで$p \geq 8$のモーメントが成り立ち、共分散行列のスペクトルノルムが有界である場合、偏差レートは$\mathcal{O}(m^{-1/2 + 3/p})$である。
• アウター・ブラケット化技術により、モーメント条件を用いて尾の寄与をバウンドすることで、非有界パrameter集合全体にわたる一様な制御が可能になる。
• Lloydのアルゴリズムのようなヒューリスティクスに対しても本手法は適用可能であり、出力コストが固定値$c$以上に下限される限り、非最適解に対してもロバストである。
• クラスタ構造が存在する場合に$k$-meansのレートを精緻化し、一般のバウンドを改善するレートを導出する。
• 解析により、有界性やサブガウス性が成り立たない重い尾を持つ分布に対しても、モーメント仮定（$p \geq 4$）が十分であることが示された。