[論文レビュー] A fast and recursive algorithm for clustering large datasets with $k$-medians

Hervé Cardot, Peggy Cénac+1 more|arXiv (Cornell University)|Jan 21, 2011

Advanced Clustering Algorithms Research参考文献 19被引用数 6

ひとこと要約

本稿では、大規模で高次元のデータセットを逐次処理する高速で再帰的な確率的勾配アルゴリズムを提案し、O(kn)の計算複雑度を達成する。ロビンズ＝モンロの確率的近似を用いて、kメディアン基準の定常点にほとんど確実に収束させ、自動ステップサイズ選択手順を備え、平均化による性能向上を実現。実世界のテレビ視聴者データにおいて、k-means やトリムド k-means、PAM よりも高速かつロバストに性能を発揮する。

ABSTRACT

Clustering with fast algorithms large samples of high dimensional data is an important challenge in computational statistics. Borrowing ideas from MacQueen (1967) who introduced a sequential version of the $k$-means algorithm, a new class of recursive stochastic gradient algorithms designed for the $k$-medians loss criterion is proposed. By their recursive nature, these algorithms are very fast and are well adapted to deal with large samples of data that are allowed to arrive sequentially. It is proved that the stochastic gradient algorithm converges almost surely to the set of stationary points of the underlying loss criterion. A particular attention is paid to the averaged versions, which are known to have better performances, and a data-driven procedure that allows automatic selection of the value of the descent step is proposed. The performance of the averaged sequential estimator is compared on a simulation study, both in terms of computation speed and accuracy of the estimations, with more classical partitioning techniques such as $k$-means, trimmed $k$-means and PAM (partitioning around medoids). Finally, this new online clustering technique is illustrated on determining television audience profiles with a sample of more than 5000 individual television audiences measured every minute over a period of 24 hours.

研究の動機と目的

• 大規模で高次元のデータセットを効率的かつロバストにクラスタリングする課題に対処すること。
• すべてのデータを保存せずに線形時間でスケーリングする、逐次的かつ再帰的な k-medians アルゴリズムを開発すること。
• 平均化された確率的勾配推定器とデータ駆動型ステップサイズ選択を用いて、収束性と性能を向上させること。
• 二乗誤差の代わりに L1-ノルムを最小化することで、外れ値に対して感度が低く、k-means の代替としてよりロバストな手法を提供すること。
• 24時間にわたって5,000人以上のテレビ視聴者をモニタリングした実世界のデータセットを用いて、手法の実用的有効性を示すこと。

提案手法

• MacQueenの逐次的 k-meansのアイデアを、L1損失基準における確率的勾配降下法を用いて k-medians に適応する。
• 再帰的更新ルールを採用：$ X_{n+1}^{r} = X_n^r - a_n^r \frac{X_n^r - Z_n}{\|X_n^r - Z_n\|} $（$ Z_n $ がクラスタ $ r $ に割り当てられる場合）、$ a_n^r $ はステップサイズ。
• 推定の収束性と精度を向上させるために、平均化推定器を用いる。これにより再帰的更新における分散が低減される。
• 経験的 L1損失に基づいて、データ駆動型の降下ステップサイズ選択手順を導入する。
• ロビンズ＝モンロの確率的近似フレームワークを適用し、kメディアン目的関数の定常点にほとんど確実に収束することを証明する。
• 2段階の手続きを実装：まず逐次的 k-means を実行して初期ステップサイズを推定し、その後 k-medians アルゴリズムを適用する。

実験結果

リサーチクエスチョン

• RQ1 k-medians クラスタリングの再帰的かつオンラインなアルゴリズムは、PAM やトリムド k-means などのバッチ手法と同等の精度を達成しつつ、著しく高速に動作するか？
• RQ2 平均化された逐次的 k-medians 推定器の性能は、k-means、トリムド k-means、PAM と比較して、計算速度と推定精度の面で優れているか？
• RQ3 データ駆動型の自動ステップサイズ選択手順は、手動チューニングを要せず、再帰的 k-medians クラスタリングのロバスト性と収束性を向上させられるか？
• RQ4 高次元および大標本条件下でも、再帰的 k-medians アルゴリズムは安定性と収束性の性質を維持できるか？
• RQ5 k-means と比較して、k-medians のアプローチは実世界のデータにおいて外れ値に対してどれほど感度が低くなるか？

主な発見

• 提案された再帰的 k-medians アルゴリズムは、O(kn)の計算複雑度を達成しており、大規模データセットに対して非常にスケーラブルである。
• シミュレーション研究において、平均化されたバージョンのアルゴリズムは、k-means、トリムド k-means、PAM よりも推定精度の面で優れた性能を示した。
• ややいなごい正則性条件のもとで、アルゴリズムは kメディアン損失基準の定常点の集合にほとんど確実に収束する。
• 経験的 L1損失に基づくデータ駆動型ステップサイズ選択手順により、手動チューニングを要せず性能が向上した。
• 5,000人を超える実際のテレビ視聴者データ（24時間にわたるモニタリング）に対して、リアルタイムで意味のある視聴者プロファイルを効果的に特定した。これにより、オンラインクラスタリングに適していることが示された。
• L1-ノルムの使用により、k-means よりも外れ値に対してロバストである一方で、線形時間の複雑度を維持している。