[論文レビュー] Document clustering using graph based document representation with constraints

Muhammad Rafi, Farnaz Amin+1 more|arXiv (Cornell University)|Dec 5, 2014

Text and Document Classification Technologies参考文献 3被引用数 6

ひとこと要約

本稿では、文書クラスタリングの品質を向上させるために、インスタンス、コーパス、クラスターレベルの制約を組み込んだグラフベースのドキュメント表現を提案する。ドキュメントをグラフとしてモデル化し、制約を新しい制約付きHAC（Constrained HAC）アルゴリズムに統合することで、標準的および合成データセット上で純度、エントロピー、F-measureの向上が示され、クラスタリング品質が顕著に向上することが確認された。

ABSTRACT

Document clustering is an unsupervised approach in which a large collection of documents (corpus) is subdivided into smaller, meaningful, identifiable, and verifiable sub-groups (clusters). Meaningful representation of documents and implicitly identifying the patterns, on which this separation is performed, is the challenging part of document clustering. We have proposed a document clustering technique using graph based document representation with constraints. A graph data structure can easily capture the non-linear relationships of nodes, document contains various feature terms that can be non-linearly connected hence a graph can easily represents this information. Constrains, are explicit conditions for document clustering where background knowledge is use to set the direction for Linking or Not-Linking a set of documents for a target clusters, thus guiding the clustering process. We deemed clustering is an ill-define problem, there can be many clustering results. Background knowledge can be used to drive the clustering algorithm in the right direction. We have proposed three different types of constraints, Instance level, corpus level and cluster level constraints. A new algorithm Constrained HAC is also proposed which will incorporate Instance level constraints as prior knowledge; it will guide the clustering process leading to better results. Extensive set of experiments have been performed on both synthetic and standard document clustering datasets, results are compared on standard clustering measures like: purity, entropy and F-measure. Results clearly establish that our proposed approach leads to improvement in cluster quality.

研究の動機と目的

• ドキュメントクラスタリングの曖昧さを、制約を通じた背景知識の統合によって解消すること。
• 非線形的な語の関係を捉える文書をグラフとしてモデル化することで、クラスタリング品質を向上させること。
• インスタンスレベルの制約を事前知識として用いた新しい制約付き階層的凝集型クラスタリング（Constrained HAC）アルゴリズムを提案すること。
• インスタンス、コーパス、クラスターレベルの3種類の制約がクラスタリング性能に与える影響を評価すること。
• 標準的および合成ドキュメントクラスタリングデータセットにおいて、標準的な評価指標を用いて優れた性能を示すこと。

提案手法

• 語をノードとし、共起関係または意味的関係をエッジとするグラフとしてドキュメントを表現することで、非線形構造のモデル化を可能にする。
• 3種類の制約を導入する：インスタンスレベル（must-link/not-linkペア）、コーパスレベル（全般的なクラスタリングの好み）、クラスターレベル（ターゲットクラスタサイズや構造）。
• インスタンスレベルの制約を階層的クラスタリングプロセスに統合し、マージ意思決定をガイドする新しいConstrained HACアルゴリズムを設計する。
• 従来のベクトル空間モデルが見逃しがちな複雑な語の相互作用を保持するために、グラフベースの表現を用いる。
• ベースライン手法との性能比較のため、標準的なクラスタリング評価指標（純度、エントロピー、F-measure）を適用する。
• 本手法の有効性を検証するため、合成データおよび実世界のドキュメントデータセットを用いた広範な実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 従来のベクトル空間モデルと比較して、グラフベースのドキュメント表現は非線形的な語の関係をより効果的に捉えられるか？
• RQ2 インスタンスレベルの制約を導入することで、もともと教師なしの設定においてクラスタリング品質がどのように向上するか？
• RQ3 コーパスレベルおよびクラスターレベルの制約は、得られたクラスタの整合性と正確性をどの程度向上させるか？
• RQ4 提案されたConstrained HACアルゴリズムは、標準的なドキュメントクラスタリングベンチマークにおいて、標準的な階層的クラスタリングを上回る性能を示すか？
• RQ5 純度、エントロピー、F-measureの観点から、異なる種類の制約はそれぞれどの程度の影響を及ぼすか？

主な発見

• 提案されたグラフベースの表現は、従来のベクトル空間モデルと比較して、複雑で非線形的な語の関係をより効果的にモデル化することで、クラスタリング品質を顕著に向上させる。
• Constrained HACアルゴリズムによるインスタンスレベルの制約の統合は、複数のデータセットで純度、エントロピー、F-measureの明確な向上をもたらす。
• コーパスレベルおよびクラスターレベルの制約の統合により、クラスタ構造がさらに洗練され、結果の解釈可能性が向上する。
• 合成データおよび標準データセットを用いた実験により、ベースラインのクラスタリング手法よりも一貫した性能向上が確認された。
• 本手法は、強固でスケーラブルであり、すべての標準的評価指標で明確な改善を示した。
• 結果から、制約に基づくガイダンスが、教師なしドキュメントクラスタリングに内在する曖昧性を効果的に軽減できることを示した。