[論文レビュー] Uniform Concentration Bounds toward a Unified Framework for Robust Clustering

Debolina Paul, Saptarshi Chakraborty+2 more|arXiv (Cornell University)|Oct 26, 2021

Statistical Methods and Inference被引用数 4

ひとこと要約

本稿では、一般のBregman損失関数の下で、中心に基づくクラスタリングの統一的かつ頑健なフレームワークを、Median-of-Means (MoM) 評価を用いて提案する。Rademacher複雑度とDudleyのチェインニングを用いた一様集中不等式を確立し、外れ値の分布的仮定なしに、$n$ と $p$ の比に制限がない中で強い一致性と $O(n^{-1/2})$ の誤差率を達成する。既存の $k$-means 変種を包含し、理論的にも強化する。

ABSTRACT

Recent advances in center-based clustering continue to improve upon the drawbacks of Lloyd's celebrated $k$-means algorithm over $60$ years after its introduction. Various methods seek to address poor local minima, sensitivity to outliers, and data that are not well-suited to Euclidean measures of fit, but many are supported largely empirically. Moreover, combining such approaches in a piecemeal manner can result in ad hoc methods, and the limited theoretical results supporting each individual contribution may no longer hold. Toward addressing these issues in a principled way, this paper proposes a cohesive robust framework for center-based clustering under a general class of dissimilarity measures. In particular, we present a rigorous theoretical treatment within a Median-of-Means (MoM) estimation framework, showing that it subsumes several popular $k$-means variants. In addition to unifying existing methods, we derive uniform concentration bounds that complete their analyses, and bridge these results to the MoM framework via Dudley's chaining arguments. Importantly, we neither require any assumptions on the distribution of the outlying observations nor on the relative number of observations $n$ to features $p$. We establish strong consistency and an error rate of $O(n^{-1/2})$ under mild conditions, surpassing the best-known results in the literature. The methods are empirically validated thoroughly on real and synthetic datasets.

研究の動機と目的

• 実験的に成功しているが理論的に脆い、有限標本における理論的保証が不足している頑健な $k$-means 変種の問題に対処すること。
• $k$-means、$k$-medians、Bregman $k$-means などの多様な中心に基づくクラスタリング手法を、Median-of-Means (MoM) 評価に基づく単一の頑健なフレームワークに統合すること。
• 外れ値に i.i.d. または軽尾分布の仮定をしないで、一般のBregman散発の下でMoMベースのクラスタリングに対する厳密な統計的解析、特に一様集中不等式を提供すること。
• 既存の結果を上回る、最小限の $n$ と $p$ 間の関係に関する仮定のもとでの強い一貫性と有限標本誤差率を確立すること。
• 理論的頑健性と実践的性能を統合し、実験的評価を通じて、クラスタ数や外れ値率の変動に対しても安定性を示すこと。

提案手法

• フレームワークは、データをブロックに分割し、ブロック単位の経験的リスクの中央値を最小化することで、中心に基づくクラスタリングを頑健化するMedian-of-Means (MoM) 評価戦略を採用する。
• 二乗ユークリッド距離に限らず、任意のBregman散発損失に一般化可能であり、指数型分布族モデルへの応用を可能にする。
• Rademacher複雑度とDudleyのチェインニングによる議論を用いて、有限標本における推定誤差の制御を可能にする一様集中不等式を導出する。
• 分析では、インライナー（正常データ）に対してのみ i.i.d. サンプリングを仮定し、外れ値集合に対しては制限なし—外れ値は任意、重尾、または従属であってもよい。
• 1イテレーションあたりの計算複雑度がLloydの $k$-means と同等であり、勾配ベースのアルゴリズムによる効率的最適化が可能である。
• 有界なクラスタ重心とインライナー分布のサブガウス型の挙動といった、ややいなごましい正則性条件のもとで理論的保証を確立する。

実験結果

リサーチクエスチョン

• RQ1 一般の類似度測度の下で、既存の $k$-means 変種を包含する統一的理論フレームワークを、頑健な中心に基づくクラスタリングに開発可能か？
• RQ2 外れ値が軽尾または i.i.d. でないという仮定なしに、MoMベースのクラスタリング目的関数に対して一様集中不等式を確立可能か？
• RQ3 特に $n$ と $p$ の間の制限のない関係のもとで、最小限の仮定のもとで達成可能な有限標本誤差率は何か？
• RQ4 実際の応用において、MoMフレームワークは、経験的リスク最小化（ERM）手法と比較して、外れ値に対してどのように頑健性を向上させるか？
• RQ5 外れ値の漸近的または分布的仮定なしに、理論的誤差率 $O(n^{-1/2})$ を達成可能か？

主な発見

• 提案されたMoMベースのクラスタリングフレームワークは、弱い条件下でも強い一貫性と $O(n^{-1/2})$ の誤差率を達成し、文献で知られている最良の結果を上回る。
• このフレームワークは、$k$-means、$k$-medians、Bregman $k$-means といった複数の $k$-means 変種を、単一の理論的枠組みで統合する。
• Rademacher複雑度とDudleyのチェインニングを用いて一様集中不等式を確立し、外れ値のモーメント条件を仮定せず、有限標本解析を可能にする。
• 実験的結果では、MOMPKM（MoMパワー $k$-means）が、クラスタ数や外れ値の割合が増加しても安定した性能を示し、ERMベースや非頑健な手法を上回る。
• 外れ値数が $O(n^{eta})$（$0 < eta < 1$）のとき、誤差率は $O(n^{(eta-1)/2})$ に比例し、一貫性には $| ext{outliers}| = o(n)$ が必要となる。
• 外れ値が無限大であったり従属であったりしても、MoM評価がその影響を効果的に軽減するため、分布的仮定なしに頑健性を維持する。