[論文レビュー] K-ANMI: A Mutual Information Based Clustering Algorithm for Categorical Data

Zengyou He, Xiaofei Xu+1 more|ArXiv.org|Nov 3, 2005

Advanced Clustering Algorithms Research被引用数 4

ひとこと要約

本稿では、クラスタアンサンブル手法にインspiredされ、平均正規化相互情報量（ANMI）をクラスタリング評価基準として用いる、カテゴリカルデータ向けの新しいクラスタリング手法K-ANMIを提案する。k-meansフレームワークを変更し、データパーティションとクラスタ割り当て間の相互情報量を最適化することで、距離尺度を必要とせず、実世界のデータセットにおいて競争力あるクラスタリング精度を達成する。

ABSTRACT

Clustering categorical data is an integral part of data mining and has attracted much attention recently. In this paper, we present k-ANMI, a new efficient algorithm for clustering categorical data. The k-ANMI algorithm works in a way that is similar to the popular k-means algorithm, and the goodness of clustering in each step is evaluated using a mutual information based criterion (namely, Average Normalized Mutual Information-ANMI) borrowed from cluster ensemble. Experimental results on real datasets show that k-ANMI algorithm is competitive with those state-of-art categorical data clustering algorithms with respect to clustering accuracy.

研究の動機と目的

• 距離測度が存在しないカテゴリカルデータのクラスタリングという課題に対処すること。
• 幾何的距離ではなく、情報理論的指標を用いてクラスタ品質を効果的に評価するクラスタリングアルゴリズムの開発。
• ユークリッド距離の代わりに、相互情報量に基づく割り当ておよび更新ルールを用いることで、k-meansの反復フレームワークをカテゴリカルデータに適応すること。
• 原理的で情報理論的基準に従い、最先端のカテゴリカルクラスタリング手法と同等のクラスタリング精度を達成すること。
• ANMIがカテゴリカルクラスタリングにおいて、安定的で意味のある評価指標として有効であることを示すこと。

提案手法

• アルゴリズムは、クラスタアンサンブル理論に基づき導出された平均正規化相互情報量（ANMI）を、クラスタリング品質の評価関数として用いる。
• k-meansと同様のヒューリスティックを用いてクラスタ中心を初期化し、データセット内から初期カテゴリカル重心を選択する。
• 各反復で、現在のクラスタ割り当てとデータ分布との間のANMIを最大化するクラスタにデータポイントが再割り当てされる。
• 従来の平均計算の代わりに、現在のクラスタメンバーとのANMIを最大化するカテゴリカル値を選んでクラスタ中心を更新する。
• 収束または最大反復回数に達するまで、ANMIを最適化することでクラスタリングを反復的に改善する。
• ANMIスコアは、異なるクラスタ数やデータセットサイズ間での比較を可能にするために正規化される。

実験結果

リサーチクエスチョン

• RQ1 従来の距離ベース手法と比較して、相互情報量に基づく評価はカテゴリカルデータのクラスタリング品質を向上させ得るか？
• RQ2 K-ANMIアルゴリズムは、既存の最先端のカテゴリカルクラスタリングアルゴリズムと比較して、どの程度のクラスタリング精度を達成するか？
• RQ3 ANMI基準は、カテゴリカルデータ設定において、安定的で意味のあるクラスタ妥当性の測定を提供する程度はどの程度か？
• RQ4 幾何的距離の代わりに情報理論的基準を用いることで、k-meansフレームワークをカテゴリカルデータに効果的に適応できるか？
• RQ5 提案手法は、実世界のカテゴリカルデータセットにおいても効率的でスケーラブルか？

主な発見

• K-ANMIは、実世界のデータセットにおいて、最先端のカテゴリカルクラスタリング手法と同等のクラスタリング精度を達成する。
• ANMIをクラスタリング評価基準として用いることで、距離ベースの代替手法と比較して、より意味的で安定したクラスタ割り当てが得られる。
• アルゴリズムはさまざまなデータセットで頑健な性能を示し、反復的なANMIの最大化により、クラスタリング品質が一貫して向上する。
• 平均計算を相互情報量に従うモードベースの更新に置き換えることで、K-ANMIはカテゴリカルデータの離散的性質を効果的に扱う。
• 相互情報量計算の複雑さにもかかわらず、計算効率を維持しており、中～大規模なカテゴリカルデータセットに対しても適している。
• 実験結果から、ANMIがカテゴリカルデータにおけるクラスタリングプロセスをガイドする信頼性があり効果的な指標であることが確認された。