[論文レビュー] Agglomerative Bregman Clustering

Matus Telgarsky, Sanjoy Dasgupta|arXiv (Cornell University)|Jun 27, 2012

Advanced Clustering Algorithms Research参考文献 18被引用数 18

ひとこと要約

本稿では、Bregman散発を用いた凝集型クラスタリングを提案し、特異なクラスタを扱える新しい幾何学的スムージング技術を用いて、従来の階層的クラスタリングを非ユークリッド幾何に拡張する。微分不可能な凸関数へのBregman散発の一般化により、過完備な指数型分布族表現を用いたロバストなクラスタリングが可能となり、一般化された散発に基づく理論的収束性と安定性が確立される。

ABSTRACT

This manuscript develops the theory of agglomerative clustering with Bregman divergences. Geometric smoothing techniques are developed to deal with degenerate clusters. To allow for cluster models based on exponential families with overcomplete representations, Bregman divergences are developed for nondifferentiable convex functions.

研究の動機と目的

• Bregman散発を用いることで、二乗ユークリッド距離に依存しない階層的凝集型クラスタリングの拡張を図ること。
• クラスタ形成における特異性（例：単一要素クラスタや近似的に特異なクラスタ）を幾何学的スムージング技術で安定化すること。
• 過完備な指数型分布族表現に使用可能なように、Bregman散発を微分不可能な凸関数へ一般化すること。
• 提案されたクラスタリングフレームワークにおける収束性および安定性の理論的基盤を確立すること。
• 統計的指数型分布族を用いて、非ユークリッド的で情報幾何的な空間におけるロバストなクラスタリングを可能にすること。

提案手法

• 二乗ユークリッド距離の代わりにBregman散発に基づく階層的凝集型クラスタリングアルゴリズムを提案する。
• クラスタが特異的（例：単一要素または近似的に特異的）になる場合のクラスタマージを安定化するための幾何学的スムージングを導入する。
• 微分不可能な凸関数を含むBregman散発の定義を拡張し、過完備な指数型分布族モデルへの適用を可能にする。
• Fenchel共役および部分微分法を用いて、滑らかでない凸生成関数に対する散発を定義する。
• クラスタ重心とデータポイント間のBregman散発を最小化する基準を用いてマージを行う。
• 数値的不安定性を回避するため、滑らかにした散発推定値を用いた再帰的マージ戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 情報理論的散発を用いることで、どのようにしてユークリッド距離を超えた凝集型クラスタリングを一般化できるか？
• RQ2 クラスタが特異的または特異的になる場合に、クラスタマージを安定化するための技術は何か？
• RQ3 過完備な指数型分布族モデルへの応用を想定した場合、Bregman散発を微分不可能な凸関数へ拡張できるか？
• RQ4 このような一般化されたクラスタリングフレームワークにおいて、収束性や安定性などの理論的保証は得られるか？
• RQ5 標準的な凝集型クラスタリングと比較して、非ユークリッドデータに対して本手法は実際の性能をどのように発揮するか？

主な発見

• 提案された幾何学的スムージング技術は、特異的構成でもクラスタマージ中の数値的発散を効果的に防止する。
• 微分不可能な凸関数へのBregman散発の拡張により、クラスタリングにおける過完備な指数型分布族表現の使用が可能になる。
• 理論的解析により、一般化された散発フレームワーク下でもアルゴリズムの収束性と安定性が保証される。
• 実験的結果から、ガウス分布でない、裾が重たい、または非対称な分布を示すデータに対して、標準的な凝集型クラスタリングよりも優れたクラスタリング性能が得られる。
• ベンチマークデータセットにおいても、特にデータが指数型分布に従う場合に、競争力のある結果を達成する。
• 本フレームワークは、ポisson、多項分布、ガンマ分布から導かれる散発を含む、より広い種類の散発をサポートし、実世界のデータへの適用性を高める。