[論文レビュー] Fast K-Means Clustering with Anderson Acceleration

Juyong Zhang, Yuxin Yao+3 more|arXiv (Cornell University)|May 27, 2018

Advanced Clustering Algorithms Research参考文献 24被引用数 5

ひとこと要約

本論文では、動的パrameter調整を用いたアンドリュースト加速を用いて、LloydのK-平均法の高速化手法を提案する。重心の更新を固定点反復問題として扱い、適応的m値選択を適用することで、平均して33%以上の反復回数削減が達成され、120件のテストケースのうち106件で優れた性能を示し、既存手法と組み合わせることで最先端の性能を達成する。

ABSTRACT

We propose a novel method to accelerate Lloyd's algorithm for K-Means clustering. Unlike previous acceleration approaches that reduce computational cost per iterations or improve initialization, our approach is focused on reducing the number of iterations required for convergence. This is achieved by treating the assignment step and the update step of Lloyd's algorithm as a fixed-point iteration, and applying Anderson acceleration, a well-established technique for accelerating fixed-point solvers. Classical Anderson acceleration utilizes m previous iterates to find an accelerated iterate, and its performance on K-Means clustering can be sensitive to choice of m and the distribution of samples. We propose a new strategy to dynamically adjust the value of m, which achieves robust and consistent speedups across different problem instances. Our method complements existing acceleration techniques, and can be combined with them to achieve state-of-the-art performance. We perform extensive experiments to evaluate the performance of the proposed method, where it outperforms other algorithms in 106 out of 120 test cases, and the mean decrease ratio of computational time is more than 33%.

研究の動機と目的

• 1ステップあたりの計算コストは低いものの、反復回数が多くなってしまうLloydのK-平均法の収束遅さに対処すること。
• 1反復あたりの計算コストや初期化戦略を変更せずに収束速度を向上させること。
• 多様なデータ分布や問題インスタンスにわたって性能を維持できる、頑健な高速化手法を開発すること。
• 1反復あたりのコストを削減する手法や初期化を改善する手法と統合可能であるようにすること。

提案手法

• Lloydアルゴリズムにおける重心更新の系列を固定点反復問題として扱う。
• 最近のm回の反復結果を用いて加速された反復を計算する、固定点ソルバーの加速技術であるアンドリュースト加速を適用する。
• Pengら（2018）の修正版アンドリュースト加速方式を採用し、計算負荷を低減するとともに数値的安定性を向上させる。
• 反復ごとの目的関数値（エネルギー）の減少割合に基づき、メモリパrameter mを動的に調整する戦略を導入する。
• 動的m選択により、さまざまなデータセット、クラスタ数、初期化条件下でも頑健性と一貫性を向上させる。
• 距離の上限を用いたプルーニングやk-means++初期化などの既存の高速化手法と組み合わせ、累積的な性能向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 LloydのK-平均法を固定点反復問題として扱うことで、アンドリュースト加速を効果的に適用できるか？
• RQ2 古典的なアンドリュースト加速におけるメモリパrameter mの選択が、K-平均クラスタリングの性能に与える影響は何か？
• RQ3 mの動的調整戦略により、多様なK-平均問題インスタンスにわたるアンドリュースト加速の頑健性と一貫性が向上するか？
• RQ4 本手法は、次元数、サンプルサイズ、クラスタ数、初期化の種類にかかわらず一貫した高速化を達成できるか？
• RQ5 既存の高速化手法と効果的に組み合わせることで、最先端の性能を達成できるか？

主な発見

• 提案手法は、多様なデータセットを対象とした120件のテストケースのうち106件で他の手法を上回り、広範な有効性を示した。
• 全テストケースにおける計算時間の平均削減率は33%を超えた。特に大規模・高次元データセットにおいて顕著な高速化が確認された。
• 動的m選択戦略により、すべての問題インスタンスおよび初期化条件下で著しい頑健性が向上し、一貫した加速が達成された。
• MNISTデータセット（20クラス）では、Lloyd法の72.35秒から本手法の7.34秒へと90%の高速化が達成され、反復回数も106回から35回に削減された。
• 100000×100のデータセットでは、時間は3087.60秒から2541.44秒（17.4%の改善）に短縮され、反復回数も308回から226回に減少した。大規模問題への有効性が裏付けられた。
• 10000×10のデータセットでは90%の高速化（11.09秒→1.16秒）、1000×10のデータセットでは95%の高速化（1.03秒→0.05秒）が達成され、強力なスケーラビリティを示した。