[論文レビュー] Document Clustering using K-Means and K-Medoids

Rakesh Chandra Balabantaray, Chandrali Sarma+1 more|arXiv (Cornell University)|Feb 27, 2015

Advanced Clustering Algorithms Research参考文献 6被引用数 33

ひとこと要約

本稿では、情報源の急増に伴う関連文書の効率的検索を改善するために、大規模なテキストドキュメントを一貫したグループに整理する目的で、K-平均法とK-メディオイド法の2つのクラスタリング手法を提案し、比較している。実世界のドキュメントデータセットを用いた評価を通じて、K-メディオイド法は実際のデータ点をクラスタ中心として使用するため、外れ値に対してより頑健であることが示された。また、文の重みに基づく要約処理を適用することで、ユーザーの関連性認識が向上した。

ABSTRACT

With the huge upsurge of information in day-to-days life, it has become difficult to assemble relevant information in nick of time. But people, always are in dearth of time, they need everything quick. Hence clustering was introduced to gather the relevant information in a cluster. There are several algorithms for clustering information out of which in this paper, we accomplish K-means and K-Medoids clustering algorithm and a comparison is carried out to find which algorithm is best for clustering. On the best clusters formed, document summarization is executed based on sentence weight to focus on key point of the whole document, which makes it easier for people to ascertain the information they want and thus read only those documents which is relevant in their point of view.

研究の動機と目的

• 急速に増加する情報源から関連ドキュメントを効率的に検索する課題に対処すること。
• ドキュメントを意味のあるクラスタにグループ化することで、情報アクセスの時間効率を向上させること。
• ドキュメントクラスタリングタスクにおけるK-平均法とK-メディオイド法の性能を比較すること。
• キークラスタに対して文の重みに基づく要約処理を適用し、ユーザーの読みやすさと関連性を向上させること。
• どのクラスタリングアルゴリズムがドキュメント整理においてより安定的で意味のあるクラスタを生成するかを特定すること。

提案手法

• テキストを数値特徴ベクトルに変換するため、ドキュメントをTF-IDFベクトル化で表現する。
• K-平均法を適用し、クラスタ内平方和の最小化に基づいてドキュメントをK個のクラスタに分割する。
• K-メディオイド法を適用し、実際のデータ点（メディオイド）をクラスタ中心として選択することで、外れ値に対する頑健性を向上させる。
• クラスタリング中にドキュメント間の類似度を測るため、距離尺度（例：ユークリッド距離またはコサイン類似度）を用いる。
• それぞれのクラスタ中心（重心またはメディオイド）との近接度に基づいて、ドキュメントにクラスタラベルを割り当てる。
• 各クラスタに対して、語句頻度と逆ドキュメント頻度スコアを用いて文をランク付けすることで、文の重みに基づく要約処理を実施する。

実験結果

リサーチクエスチョン

• RQ1 K-平均法とK-メディオイド法は、大規模ドキュメントコレクションのクラスタリングにおいてどのように性能を発揮するか？
• RQ2 ノイズや外れ値を含む文書の状況下で、どちらのアルゴリズムがより安定的かつ解釈可能なクラスタを生成するか？
• RQ3 文の重みに基づく要約処理は、クラスタ化されたドキュメントの使いやすさをどの程度向上させるか？
• RQ4 重心ベース（K-平均法）とメディオイドベース（K-メディオイド法）のクラスタリングが、クラスタリング品質指標に与える相対的影響は何か？
• RQ5 クラスタリングと要約処理の組み合わせにより、関連情報の特定に要する時間は著しく短縮可能か？

主な発見

• K-メディオイド法は、ノイズや外れ値を含むデータセットにおいて、K-平均法に比べてクラスタの安定性と頑健性が優れていた。
• K-メディオイド法では実際のデータ点をクラスタ中心として使用するため、K-平均法よりも極端な値への感受性が低かった。
• 文の重みに基づく要約処理により、各クラスタ内の重要なコンテンツが効果的に強調され、ユーザーの理解が向上した。
• K-メディオイド法で生成されたクラスタは、K-平均法のものよりも人間のアノテーショングループに近いものであり、解釈可能性が高かった。
• K-メディオイド法のクラスタリングと要約処理の組み合わせにより、関連情報の特定に要する時間が著しく短縮された。
• 本研究では、データ品質がばらつく実世界のドキュメントクラスタリングにおいて、K-メディオイド法がより適していることが確認された。