[論文レビュー] Web Search Result Clustering based on Heuristic Search and k-means

Mansaf Alam, Kishwar Sadaf|arXiv (Cornell University)|Aug 11, 2015

Data Management and Algorithms参考文献 24被引用数 4

ひとこと要約

本稿では、コサイン類似度を用いたk-meansとヒューリスティック検索を組み合わせたハイブリッドWeb検索結果クラスタリング手法を提案する。この手法により、最適なクラスタ数（k）を自動的に決定できる。ドメイン固有のヒューリスティクスを用いて初期重心を導出することで、手動によるkの指定が不要になり、等サイズクラスタのバイアスも回避される。その結果、より意味的に意味のある可変サイズのクラスタが得られ、ユーザーの情報ニーズをよりよく反映する。

ABSTRACT

Giving user a simple and well organized web search result has been a topic of active information Retrieval (IR) research. Irrespective of how small or ambiguous a query is, a user always wants the desired result on the first display of an IR system. Clustering of an IR system result can render a way, which fulfills the actual information need of a user. In this paper, an approach to cluster an IR system result is presented.The approach is a combination of heuristics and k-means technique using cosine similarity. Our heuristic approach detects the initial value of k for creating initial centroids. This eliminates the problem of external specification of the value k, which may lead to unwanted result if wrongly specified. The centroids created in this way are more specific and meaningful in the context of web search result. Another advantage of the proposed method is the removal of the objective means function of k-means which makes cluster sizes same. The end result of the proposed approach consists of different clusters of documents having different sizes.

研究の動機と目的

• Web検索結果クラスタリングにおける最適なクラスタ数（k）を決定する課題に対処すること。
• 検索結果を意味的に意味のある、文脈的に関連するクラスタに整理することで、ユーザーの不満を軽減すること。
• k-meansの目的関数が等サイズクラスタを強制するため生じるバイアスを排除すること。
• ヒューリスティクスを用いてより具体的かつ意味のある初期重心を生成することで、クラスタリング品質を向上させること。
• 外部からのk指定なしに、多様なWeb検索結果をスケーラブルかつ自動的に整理するソリューションを提供すること。

提案手法

• 本手法は、ドキュメントの分布とクエリの特徴に基づいて、kの初期値をヒューリスティクスに基づいて特定する。
• 初期重心はランダム初期化ではなく、ドメイン固有のヒューリスティクスを用いて生成され、関連性と収束性が向上する。
• ベクトル空間モデルにおけるドキュメント類似度を測定するために、コサイン類似度が距離指標として用いられる。
• ヒューリスティクスから導出された重心を用いてk-meansアルゴリズムを適用し、ドキュメントをクラスタにグループ化する。
• k-meansの目的関数を変更して可変サイズのクラスタを許容することで、人工的な均一性を回避する。
• 最終的なクラスタリング出力は、意味的に整合性があり、非均一なサイズのクラスタであり、実際のユーザーの情報ニーズを反映している。

実験結果

リサーチクエスチョン

• RQ1 外部からの入力なしに、Web検索結果クラスタリングにおける最適なクラスタ数（k）を自動的にどのように決定できるか？
• RQ2 ヒューリスティクス駆動の重心初期化は、検索結果クラスタの品質と関連性を向上させることができるか？
• RQ3 k-meansの等サイズ制約を排除することで、Web検索結果におけるより意味的なクラスタ構造が得られるか？
• RQ4 ヒューリスティクスとk-meansを組み合わせることで、標準k-meansと比較してクラスタリング効果がどの程度向上するか？
• RQ5 提案手法は、多様な検索結果の間で関連情報を見つけるためのユーザーの作業負荷を軽減できるか？

主な発見

• ヒューリスティクスアプローチにより、外部入力なしに最適なk値を効果的に特定でき、耐障害性が向上した。
• ヒューリスティクスを用いて生成された重心は、ランダム初期化された重心よりもより具体的で文脈的に関連性が高い。
• 本手法は、自然なドキュメントグループ構造を反映する可変サイズのクラスタを生成する。
• 標準k-meansの目的関数を回避することで、人工的なクラスタリングバイアスを防止した。
• 得られたクラスタは意味的に整合性が高く、ユーザーの情報ニーズとよりよく一致している。
• 関連性の向上とユーザーの検索作業負荷の低減を通じて、クラスタリング品質が向上したことが示された。