[論文レビュー] Fast K-Means with Accurate Bounds

James Newling, François Fleuret|arXiv (Cornell University)|Feb 8, 2016

Machine Learning and Data Classification参考文献 15被引用数 16

ひとこと要約

本稿では、Exponionアルゴリズムを紹介する。これは、低次元データセットにおいて既存の最先端手法を上回る、境界に基づく高速化された正確なk-means手法であり、最大3倍の高速化を達成する。さらに、よりタイトな距離バウンディングと簡素化されたバージョンを提案し、余分な距離計算を削減して全62件の実験の59件で効率性を向上させた。すべての手法についてオープンソースのC++実装を提供している。

ABSTRACT

We propose a novel accelerated exact k-means algorithm, which performs better than the current state-of-the-art low-dimensional algorithm in 18 of 22 experiments, running up to 3 times faster. We also propose a general improvement of existing state-of-the-art accelerated exact k-means algorithms through better estimates of the distance bounds used to reduce the number of distance calculations, and get a speedup in 36 of 44 experiments, up to 1.8 times faster. We have conducted experiments with our own implementations of existing methods to ensure homogeneous evaluation of performance, and we show that our implementations perform as well or better than existing available implementations. Finally, we propose simplified variants of standard approaches and show that they are faster than their fully-fledged counterparts in 59 of 62 experiments.

研究の動機と目的

• 大規模なクラスタリングタスクに適した、より速く効率的な正確なk-meansアルゴリズムの開発。
• 距離バウンディングのタイトニングと不要な距離計算の削減により、既存の高速化k-means手法の改善。
• 性能に影響を与えることなく複雑なアルゴリズムを簡素化し、実用的な高速実行を実現。
• 公平で再現可能なベンチマークが可能な、最先端k-meansアルゴリズムの統合的でオープンソースの実装の提供。

提案手法

• 距離と重心の間の距離に対するよりタイトなバウンディングを用いる、新しい境界ベースのk-means手法「Exponion」を提案。これにより、余分な距離計算を回避する。
• 距離推定の正確性を向上させ、すべての境界ベース手法における距離計算回数を削減する、新たなバウンディングタイトニング技術「ns-bounds」を導入。
• 既存の最先端アルゴリズム（例：Annular, Syin, Selk, Elk）を、正しさを保ちつつ余分なチェックを削除することで、より高速なバージョンに簡素化。
• 全アルゴリズムに並列化されたC++11実装を採用し、4コア環境でほぼ4倍の高速化を実現するマルチコア実行を効率的に行える。
• kと次元性が異なる22のデータセットを用いた体系的で公平な実験的評価を実施。
• 三角不等式と重心距離バウンディングを用い、割り当て中に動的にクラスタをプルーニングすることで収束を加速。

実験結果

リサーチクエスチョン

• RQ1 低次元設定において、現在の最先端手法を著しく上回る新しい境界ベースk-meansアルゴリズムを設計可能か？
• RQ2 k-meansクラスタリングにおける距離計算回数をさらに削減するため、よりタイトな距離バウンディングを導出可能か？
• RQ3 複雑なk-meansアルゴリズムの簡素化版が、元の完全版よりも優れた性能を発揮可能か？
• RQ4 提案手法の性能は、さまざまなデータセット、クラスタ数、次元数においてどのようにスケーリングするか？

主な発見

• Exponionアルゴリズムは、22個の低次元データセットのうち18個で、現在の最先端手法（Annular）よりも最大3倍速く実行された。
• 提案されたns-bounds技術により距離計算回数が削減され、性能が向上。44回の実験のうち36回で最大1.8倍の高速化を達成。
• 既存アルゴリズムの簡素化版は、全62回の実験のうち59回で元の完全版を上回る性能を示し、複雑さが必ずしも性能に直結しないことを示した。
• 並列化実装は4コアマシンでほぼ4倍の高速化を達成し、強力なスケーラビリティを確認した。
• 表7に示すように、著者らの実装は、ベンチマークされたすべての設定で、既存のオープンソースライブラリを上回った。
• ns-bounds技術は大多数のケースで高速化をもたらし、わずかに遅延が生じるケース（q_t > 1）は少数にとどまり、多様なデータセットにわたる堅牢性を示した。