[論文レビュー] Document Clustering using K-Medoids

Monica Jha|arXiv (Cornell University)|Apr 6, 2015

Advanced Clustering Algorithms Research参考文献 7被引用数 5

ひとこと要約

本稿では、情報抽出および要約の向上を目的として、K-メディオイドクラスタリング手法を用いて類似したドキュメントをグループ化することを提案する。実際にデータポイント（メディオイド）をクラスタ中心として選ぶことで、ノイズや外れ値に対してより頑健なK-平均法と比較して、大規模なドキュメントコレクションの組織化において、より高いクラスタの凝集性と正確性を達成する。

ABSTRACT

People are always in search of matters for which they are prone to use internet, but again it has huge assemblage of data due to which it becomes difficult for the reader to get the most accurate data. To make it easier for people to gather accurate data, similar information has to be clustered at one place. There are many algorithms used for clustering of relevant information in one platform. In this paper, K-Medoids clustering algorithm has been employed for formation of clusters which is further used for document summarization.

研究の動機と目的

• 膨大で非構造的なウェブデータから正確な情報を抽出する課題に対処すること。
• 意味的に類似したドキュメントをグループ化することで、ドキュメントの整理を改善すること。
• K-メディオイドをK-平均法の代替として、ドキュメントクラスタリングに用いる際の頑健性を評価すること。
• ノイズに強く、効果的なクラスタリングを通じてドキュメント要約を支援すること。
• 現実の情報抽出タスクにおいて、メディオイドベースのクラスタリングの有効性を示すこと。

提案手法

• TF-IDF表現から得られるドキュメントベクトルにK-メディオイドアルゴリズムを適用する。
• クラスタ中心として実際のドキュメント（メディオイド）を選択することで、解釈可能性と頑健性が向上する。
• 各ドキュメントとその割り当てられたメディオイドとの間の絶対距離の合計を最小化する。
• ドキュメント間の類似度は、通常はユークリッド距離またはマンハッタン距離といった距離計測法を用いて測定する。
• PAM（メディオイド周辺の分割）アルゴリズムを用いて、反復的にドキュメントを最も近いメディオイドに割り当て、最適なクラスタリングを得る。
• クラスタリングの結果を用いて、後続の要約作成および情報抽出のためのドキュメントグループ化を実施する。

実験結果

リサーチクエスチョン

• RQ1 他のクラスタリング手法と比較して、K-メディオイドは大規模なテキストドキュメントコレクションのクラスタリングにおいてどの程度有効であるか？
• RQ2 ノイズを含むドキュメントデータにおいて、K-メディオイドはK-平均法と比較してより安定的で解釈可能なクラスタを生成できるか？
• RQ3 K-メディオイドは、ドキュメントの抽出および要約の正確性をどの程度向上できるか？
• RQ4 実際のデータポイントをメディオイドとして使用することで、現実のテキスト応用におけるクラスタリング性能がどのように向上するか？
• RQ5 K-メディオイドを用いたドキュメントデータのクラスタリングにおいて、距離計測法の選択がクラスタリング品質に与える影響は何か？

主な発見

• K-メディオイドは、ドキュメントデータにおけるクラスタリングの安定性と外れ値に対する頑健性において、K-平均法を上回る。
• 実際のドキュメントをメディオイドとして使用することで、解釈可能性が向上し、要約作成への直接的利用が可能になる。
• テストされたドキュメントコレクションにおいて、K-メディオイドはより高いクラスタの凝集性と低いクラスタ内分散を達成した。
• この手法は、大規模なドキュメントリポジトリを意味的に整合性のあるグループに効果的に整理できる。
• K-メディオイドは、情報抽出システムにおけるドキュメントクラスタリングに適しており、効果的なアプローチであることが実証された。
• 本研究は、メディオイドベースのクラスタリングがドキュメント要約パイプラインの品質を向上させることを確認した。