[論文レビュー] Demystifying Information-Theoretic Clustering

Greg Ver Steeg, Aram Galstyan+2 more|arXiv (Cornell University)|Oct 15, 2013

Bayesian Methods and Mixture Models参考文献 14被引用数 8

ひとこと要約

この論文は、データとクラスタラベル間の相互情報量を最大化する情報理論的クラスタリング手法に、根本的な欠陥が存在することを特定し、データ量が増えるにつれて均等なサイズの任意のクラスタを好むため、性能が劣化することを示している。本研究では、粗粒度化における一貫性—情報理論の基礎的原則—に基づく新しいクラスタリング目的関数を提案し、大規模データでも構造を保つ強力なクラスタリングを実現している。

ABSTRACT

We propose a novel method for clustering data which is grounded in information-theoretic principles and requires no parametric assumptions. Previous attempts to use information theory to define clusters in an assumption-free way are based on maximizing mutual information between data and cluster labels. We demonstrate that this intuition suffers from a fundamental conceptual flaw that causes clustering performance to deteriorate as the amount of data increases. Instead, we return to the axiomatic foundations of information theory to define a meaningful clustering measure based on the notion of consistency under coarse-graining for finite data.

研究の動機と目的

• データとクラスタラベル間の相互情報量を最大化する既存の情報理論的クラスタリング手法における概念的欠陥を特定すること。
• 大規模データの極限において、意味のある構造ではなく任意の均等サイズのクラスタを生成してしまう相互情報量クラスタリングの失敗を解消すること。
• 有限標本においても有効で堅牢な、情報理論的公理に基づくクラスタリング目的関数を開発すること。
• パラメトリックモデルや類似度メトリクスに依存しない非パラメトリック推定器を提供すること。
• 粗粒度化における一貫性の違反を最小化することが、より自然で安定したクラスタ構造をもたらすことを示すこと。

提案手法

• 有限データに適用した際のシャノンエントロピーの基礎的公理である粗粒度化における一貫性の違反を最小化するという観点からクラスタリングを再解釈すること。
• データを粗粒度化した際の分割が一貫性の性質をどの程度違反するかに基づく、新しいクラスタリング目的関数を提案すること。
• 近隣点統計を用いて一貫性違反の測度の非パラメトリック推定器を構築すること。
• 目的関数を推定されたクラスタラベルの不確実性の最小化として再定式化し、本手法の別解釈を提供すること。
• 一貫性違反を最小化するクラスタ割り当てを求めるための実用的なヒューリスティック最適化アルゴリズムを開発すること。
• パラメトリック分布の仮定をせず、近隣点距離を用いて局所エントロピーと一貫性違反を推定すること。

実験結果

リサーチクエスチョン

• RQ1 相互情報量に基づくクラスタリング手法は、理論的には魅力的であるが、なぜデータサイズが増加するにつれて失敗するのか？
• RQ2 有限標本における堅牢なクラスタリング目的関数を定義するための、情報理論のどの基礎的原則が利用可能か？
• RQ3 粗粒度化における一貫性を有限データクラスタリングに適応することで、自然なクラスタ構造をどのように保てるか？
• RQ4 パラメトリックモデルに依存せず、滑らかなデータ変換に対して不変である非パラメトリッククラスタリング手法を設計可能か？
• RQ5 一貫性違反の最小化は、合成データおよび実世界のデータセットにおいて、相互情報量最大化よりも優れたクラスタリング性能をもたらすか？

主な発見

• 相互情報量に基づくクラスタリング手法は、大規模データの極限において、データの内在的構造を無視して均等なサイズの任意のクラスタを生成するため、失敗する。
• 提案手法は、データサイズが増大しても合成データにおいて自然な非凸クラスタ構造を効果的に回復できる。
• 標準ベンチマークデータセットにおいて、相互情報量ベースの手法を上回る性能を示し、競争力のあるクラスタリング精度を達成した。
• 一貫性違反測度はクラスタ品質の信頼できる指標であることが示され、低い値はより堅牢で意味のある分割を示している。
• 実験的結果から、従来の研究で相互情報量クラスタリングが成功したのは、目的関数自体の効果ではなく、推定器のアーティファクトによるものであることが明らかになった。
• 本手法は滑らかで可逆なデータ変換に対して不変を保ち、情報理論的アプローチの重要な利点を維持している。