[論文レビュー] Bipartite graph partitioning and data clustering

Hongyuan Zha, Xiaofeng He+3 more|ArXiv.org|Aug 27, 2001

Advanced Clustering Algorithms Research被引用数 7

ひとこと要約

本稿では、語彙-文書重み行列の部分特異値分解（SVD）を用いて正規化カット基準を最小化することで、文書やレコメンデーションシステムのデータに対して特に有効な、新たな二部グラフ分割手法を提案する。この手法により、局所的最適解に陥りがちな反復的アルゴリズムを避ける効率的でグローバルに最適なクラスタリングが可能となり、K-meansを上回り、あるいは同等以上に精度と頑健性を発揮する。特に、不均衡なデータ分布や重複クラスタを含む状況でも優れた性能を示す。

ABSTRACT

Many data types arising from data mining applications can be modeled as bipartite graphs, examples include terms and documents in a text corpus, customers and purchasing items in market basket analysis and reviewers and movies in a movie recommender system. In this paper, we propose a new data clustering method based on partitioning the underlying bipartite graph. The partition is constructed by minimizing a normalized sum of edge weights between unmatched pairs of vertices of the bipartite graph. We show that an approximate solution to the minimization problem can be obtained by computing a partial singular value decomposition (SVD) of the associated edge weight matrix of the bipartite graph. We point out the connection of our clustering algorithm to correspondence analysis used in multivariate analysis. We also briefly discuss the issue of assigning data objects to multiple clusters. In the experimental results, we apply our clustering algorithm to the problem of document clustering to illustrate its effectiveness and efficiency.

研究の動機と目的

• 語彙と文書、あるいはユーザーとアイテムといった、固有の二部構造を持つデータのクラスタリング課題に取り組むこと。
• 反復的アルゴリズムで一般的に生じる局所的最適解を回避する、グラフ分割に基づく効率的でグローバルに最適なクラスタリング手法を開発すること。
• スペクトラルクラスタリングと、対応分析を含む古典的多変量解析手法との間に接続を確立すること。
• 重複クラスタや不均衡なデータ分布を含む状況でも効果的なクラスタリングを可能にすること。
• 従来のベクトル空間モデルクラスタリングに対するスケーラブルで理論的裏付けのある代替手法を提供すること。

提案手法

• 語彙と文書を頂点とし、共起頻度を辺の重みとする二部グラフ分割問題としてデータクラスタリングを定式化する。
• バランスの取れた分割を促進し、クラスタ間の辺の重みを最小化する二部グラフ用の正規化カット基準を導入する。
• 重み付き隣接行列の部分特異値分解（SVD）を用いた近似解を導出し、計算を効率化する。
• 主成分の左および右特異ベクトルを用いてクラスタ割り当てを定義し、文書内の意味的トピックを効果的に捉える。
• SVDに基づく解法と対応分析を結びつけ、統計的解釈と妥当性を提供する。
• 最小正規化カットを再帰的に適用することでカットポイントを特定し、クラスタ境界を精緻化する再帰的クラスタリング戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 二部グラフ用の正規化カット基準は、取り扱いやすく効果的なクラスタリング手法を導くことができるか？
• RQ2 部分SVDによるスペクトラル緩和を用いることで、二部グラフ分割問題をどのように効率的に解くことができるか？
• RQ3 提案手法のSVDベースクラスタリングと、多変量統計における古典的対応分析との関係は何か？
• RQ4 不均衡または重複クラスタを含む実世界の文書クラスタリングタスクにおいて、この手法はどのように性能を発揮するか？
• RQ5 精度と安定性の観点から、従来のK-meansクラスタリングを上回ることができるか？

主な発見

• 5つのニュースグループデータセットにおいて、本手法は88.2%の精度を達成し、他の2つのサンプルでも85.4%および81.2%の精度を示した。これは、同じデータセットで先行研究が達成した53–59%の結果を著しく上回るものである。
• バランスの取れた混合（50/50）の二値クラスタリングでは、K-meansと同等またはわずかに優れた性能を示したが、歪みのある混合（50/100、50/150、50/200）では、K-meansを一貫して上回り、特に極度に不均衡な状況で顕著な優位性を示した。
• 本手法は標準偏差が低く（例：50/200混合で7.58%）、K-meansは高いばらつきを示した（例：50/50混合で12.83%）。これは、局所的最適解に陥るK-meansの不安定性を示している。
• 部分SVDに基づくアプローチにより、EMベースの確率的潜在セマンティックインデキングや反復的K-meansが抱える局所的最適解の問題を回避するグローバルに最適な解が得られた。
• 対応分析との関連付けにより、手法の統計的基盤が裏付けられ、クラスタ結果の解釈可能性が向上した。
• 本手法は重複クラスタを効果的に処理でき、意味的なクラスタラベルを生成した。各クラスタの代表語は一貫した意味的トピックを反映しており、例として「亚美尼亚」「以色列」が政治関連、「nasa」「space」が科学関連のトピックを示した。