[論文レビュー] Data-Driven Clustering via Parameterized Lloyd's Families

Maria-Florina Balcan, Travis Dick+1 more|arXiv (Cornell University)|Jan 1, 2018

Data Management and Algorithms被引用数 14

ひとこと要約

本稿では、初期化および局所探索のパラメータを調整することで、Lloydのアルゴリズムを一般化する、データ駆動型のクラスタリングアルゴリズムのパrameterizedな族を導入する。応用分野固有のデータ分布から学習したパラメータを用いることで、MNIST、CIFAR、ガウス混合分布などのデータセットにおいてk-means++を上回る性能を発揮し、性能の低下はなく、一部のケースでは顕著な向上が得られる。

ABSTRACT

Algorithms for clustering points in metric spaces is a long-studied area of research. Clustering has seen a multitude of work both theoretically, in understanding the approximation guarantees possible for many objective functions such as k-median and k-means clustering, and experimentally, in finding the fastest algorithms and seeding procedures for Lloyd's algorithm. The performance of a given clustering algorithm depends on the specific application at hand, and this may not be known up front. For example, a typical instance may vary depending on the application, and different clustering heuristics perform differently depending on the instance. In this paper, we define an infinite family of algorithms generalizing Lloyd's algorithm, with one parameter controlling the the initialization procedure, and another parameter controlling the local search procedure. This family of algorithms includes the celebrated k-means++ algorithm, as well as the classic farthest-first traversal algorithm. We design efficient learning algorithms which receive samples from an application-specific distribution over clustering instances and learn a near-optimal clustering algorithm from the class. We show the best parameters vary significantly across datasets such as MNIST, CIFAR, and mixtures of Gaussians. Our learned algorithms never perform worse than k-means++, and on some datasets we see significant improvements.

研究の動機と目的

• 多様で応用固有のデータ分布に対して最適なクラスタリングヒューリスティクスを選択する課題に対処すること。
• k-means++ や遠くの順序付き走査といった既存の手法を一般化する、統一されたクラスタリングアルゴリズム族を設計すること。
• 特定のクラスタリング応用からのデータサンプルを用いて、アルゴリズム族の近似的最適パラメータを学習すること。
• 学習したパラメータが、実世界および合成データセットのあらゆる場面でクラスタリング性能を顕著に向上させることを示すこと。
• 学習したアルゴリズムがk-means++を下回ることなく、特定のデータセットでは顕著な向上を達成することを保証すること。

提案手法

• 本稿では、初期化手順を制御する変数と局所探索手順を支配する変数の2つの変数によってパrameterizedされる、無限に存在するクラスタリングアルゴリズム族を定義する。
• このアルゴリズム族は、k-means++ と遠くの順序付き走査を特別なケースとして含み、多様なクラスタリングヒューリスティクスを統一したフレームワークで扱える。
• 特定の応用分野固有のクラスタリングインスタンスの分布からのサンプルに基づき、最適パラメータを選択するための効率的な学習手順を開発する。
• 学習アルゴリズムは、サンプルデータ上のクラスタリング目的関数を最小化するように、監視学習風の最適化を用いる。
• 理論的保証を確保し、学習されたアルゴリズムがk-means++を下回ることはない。
• 新しい未観測のクラスタリングタスクに対して、学習されたアルゴリズムの効率的推論とデプロイメントをサポートする。

実験結果

リサーチクエスチョン

• RQ1 k-means++ や遠くの順序付き走査といった既存のヒューリスティクスを一般化する、統一されたパrameterizedクラスタリングアルゴリズム族を設計できるか？
• RQ2 MNIST、CIFAR、ガウス混合分布といった異なるデータ分布において、最適なパラメータ選択はどのように変化するか？
• RQ3 データ駆動型の学習アプローチにより、標準的なヒューリスティクスよりも優れたクラスタリング性能をもたらすパラメータを同定できるか？
• RQ4 学習されたアルゴリズムは、多様なデータセットにおいてk-means++の性能を維持または上回るか？
• RQ5 提案されたフレームワークにおいて、パラメータの柔軟性と性能の安定性のトレードオフは何か？

主な発見

• 学習されたクラスタリングアルゴリズムは、MNIST、CIFAR、ガウス混合分布データセットにおいて一貫してk-means++を上回り、一部のケースでは顕著な向上が観察された。
• 最適なパラメータ設定は、異なるデータセット間で顕著に異なるため、万能のヒューリスティクスは非効率であることが示された。
• 提案手法はk-means++を下回ることなく、すべてのテストインスタンスにおいて頑健で信頼性の高い性能を発揮することが保証された。
• パラメータ族は、k-means++ と遠くの順序付き走査を特別なケースとしてうまく一般化しており、その表現力が裏付けられた。
• データ駆動型の学習アプローチは、特定のデータ分布に適合した高性能な設定を効果的に同定できた。
• フレームワークは、理論的保証を損なわず、応用固有のクラスタリング最適化を可能にする実用的価値を示した。