[論文レビュー] Fast clustering of large datasets with sequential $k$-medians : a stochastic gradient approach

Hervé Cardot, Peggy Cénac+1 more|arXiv (Cornell University)|Jan 21, 2011

Bayesian Methods and Mixture Models参考文献 17被引用数 5

ひとこと要約

本稿では、逐次的な確率的勾配法を用いて、大規模で高次元なデータセットをリアルタイムで処理する高速な$k$-メディアンクラスタリング手法を提案する。この手法は、クラスターメディアンを段階的に更新することで、ほぼ確実に定常点に収束することを証明し、平均化推定器のための自動的ステップサイズ選択を導入している。5,000人以上のユーザーが参加するテレビ視聴データセットにおいて、従来手法を上回る速度と精度を達成している。

ABSTRACT

Clustering with fast algorithms large samples of high dimensional data is an important challenge in computational statistics. Borrowing ideas from MacQueen (1967) who introduced a sequential version of the $k$-means algorithm, a new class of recursive stochastic gradient algorithms designed for the $k$-medians loss criterion is proposed. By their recursive nature, these algorithms are very fast and are well adapted to deal with large samples of data that are allowed to arrive sequentially. It is proved that the stochastic gradient algorithm converges almost surely to the set of stationary points of the underlying loss criterion. A particular attention is paid to the averaged versions, which are known to have better performances, and a data-driven procedure that allows automatic selection of the value of the descent step is proposed. The performance of the averaged sequential estimator is compared on a simulation study, both in terms of computation speed and accuracy of the estimations, with more classical partitioning techniques such as $k$-means, trimmed $k$-means and PAM (partitioning around medoids). Finally, this new online clustering technique is illustrated on determining television audience profiles with a sample of more than 5000 individual television audiences measured every minute over a period of 24 hours.

研究の動機と目的

• 大規模で高次元なデータセットが逐次的にリアルタイムで到着する状況におけるクラスタリングの課題に対処すること。
• ビッグデータ応用を想定し、バッチ処理の$k$-メディアンや$k$-メディアンの計算コストを低減する代替手法を開発すること。
• 提案手法の理論的収束性を保証し、$k$-メディアン損失関数の定常点にほぼ確実に収束することを確認すること。
• データ駆動型のステップサイズ選択を用いた平均化された確率的勾配推定器により、推定精度を向上させること。
• 実世界の大規模なテレビ視聴者プロファイリングタスクにおける実用的性能を実証すること。

提案手法

• MacQueenの逐次$k$-メディアンのアイデアを、確率的勾配更新を用いた$k$-メディアン基準に適応する。
• 各新しいデータポイントが、減少するステップサイズを用いて現在のメディアン推定値を更新する確率的勾配降下フレームワークを採用する。
• 収束の安定性と推定精度を向上させるために、アルゴリズムの平均化版を導入する。
• 観察された勾配の挙動に基づき、最適な降下ステップサイズを決定するデータ駆動型手順を提案する。
• $k$-メディアン損失関数を用い、各クラスターメディアンからの絶対偏差の和を最小化する。
• データを一括して保存せずに、1件ずつ処理するオンラインなアプローチを採用する。

実験結果

リサーチクエスチョン

• RQ1 大規模で高次元なデータセットに対して、逐次的な確率的勾配アルゴリズムが高速かつ正確に$k$-メディアンクラスタリングを実現できるか？
• RQ2 確率的勾配$k$-メディアン推定器の平均化版が、損失関数の定常点にほぼ確実に収束するか？
• RQ3 データ駆動型のステップサイズ選択手順が、固定値やヒューリスティックなルールに比べて実際の応用で優れた性能を示せるか？
• RQ4 従来の$k$-メディアン、トリムド$k$-メディアン、PAMといった古典的手法と比較して、提案手法は速度と精度で優れているか？
• RQ5 高頻度で大規模なデータから、効果的に意味のあるテレビ視聴者プロファイルを同定できるか？

主な発見

• 逐次的な確率的勾配$k$-メディアンアルゴリズムは、$k$-メディアン損失関数の定常点の集合にほぼ確実に収束する。
• 平均化版のアルゴリズムは、非平均化バージョンに比べて優れた推定性能を示す。
• 提案されたデータ駆動型ステップサイズ選択手順は、実際の応用において収束速度と精度のバランスを効果的にとっている。
• 大規模データセットにおいて、バッチ$k$-メディアン、トリムド$k$-メディアン、PAMよりも著しく高速な計算時間を達成している。
• 24時間にわたる5,000人以上のユーザーが参加するテレビ視聴データセットにおいて、高い効率で明確な視聴パターンのクラスタを効果的に同定した。
• ストリーミングデータに対しても高い精度を維持するため、リアルタイムクラスタリング用途に適している。