[論文レビュー] Search Result Clustering via Randomized Partitioning of Query-Induced Subgraphs

Aleksandar Bradic|ArXiv.org|Nov 25, 2008

Complex Network Analysis Techniques参考文献 11被引用数 7

ひとこと要約

本論文では、ウェブハイパーリンクグラフのクエリ誘導部分グラフを用いて検索結果をクラスタリングするための確率的パーティショニングアルゴリズムを提案する。これらの部分グラフ上でランダムウォークを活用することで、決定的アプローチと同等のクラスタリング品質を達成しつつ、時間的・空間的計算量を顕著に削減し、実世界の検索エンジンにおける実用的導入を可能にする。

ABSTRACT

In this paper, we present an approach to search result clustering, using partitioning of underlying link graph. We define the notion of "query-induced subgraph" and formulate the problem of search result clustering as a problem of efficient partitioning of given subgraph into topic-related clusters. Also, we propose a novel algorithm for approximative partitioning of such graph, which results in cluster quality comparable to the one obtained by deterministic algorithms, while operating in more efficient computation time, suitable for practical implementations. Finally, we present a practical clustering search engine developed as a part of this research and use it to get results about real-world performance of proposed concepts.

研究の動機と目的

• ドキュメントの内容に依存せず、ハイパーリンク構造を活用することで、大規模な検索結果の集合を効率的にクラスタリングする課題に対処する。
• クエリ時における完全なウェブグラフに伝統的なグラフクラスタリングアルゴリズムを適用する際の計算およびメモリ制限を克服する。
• 完全なウェブグラフではなくクエリ固有の部分グラフに焦点を当てることで、実世界の検索エンジンに適した実用的でスケーラブルなクラスタリングソリューションを開発する。
• クエリ誘導部分グラフが完全なウェブグラフの本質的構造的性質を保持することを示し、クラスタリングにその使用を正当化する。

提案手法

• クエリに一致するノードおよびそれらの相互ハイパーリンクのみを含む、完全なハイパーリンクグラフの誘導部分グラフ $G_q = (V_q, E_q)$ を定義する。
• ランダムウォークに基づく確率的クラスタリングアルゴリズムを提案し、クエリ誘導部分グラフをトピック関連クラスタにパーティショニングする。
• クラスタリング品質と計算効率のトレードオフを制御するパラメータ $K$（近似係数）を用いる。
• WALKフェーズをランダムウォークを用いて実装し、部分グラフを探索して密度の高い領域を同定する。期待時間計算量は $O(N \log \log N)$ であり、$N$ はクエリに一致するノード数を表す。
• 部分クラスタを統合するマージフェーズを適用し、$O(N \log \log N)$ の効率的時間計算量を達成する。
• 完全な隣接行列ではなく隣接リストを格納することで、空間計算量を $O(N \log N)$ に削減し、スケーラビリティを向上させる。

実験結果

リサーチクエスチョン

• RQ1 クエリ誘導部分グラフは、完全なウェブグラフの本質的構造的性質を保持できるか。その結果、クラスタリングに適していると言えるか。
• RQ2 確率的アルゴリズムは、決定的手法と同等のクラスタリング品質を達成しつつ、著しく少ない時間と空間で動作できるか。
• RQ3 近似係数 $K$ は、クラスタリング品質と計算効率のトレードオフにどのように影響するか。
• RQ4 提案手法は、実世界の検索エンジンにおいてスケーラブルで実用的か。

主な発見

• アルゴリズムは高いクラスタリング品質を達成しており、トップクラスタのカバレッジ値が 0.947 を超えることが確認され、クラスタ内凝集性が強く、クラスタ間接続性が低いことが示された。
• クエリ 'politika' の場合、カバレッジが 0.999 に達し、ほぼ最適に近いクラスタリング性能を示した。
• カバレッジは近似係数 $K$ とともに対数的に増加する傾向を示しており、小さな $K$ 値でも十分なクラスタリング品質が得られることを示している。
• WALKフェーズの期待実行時間は $O(N \log \log N)$ であり、全アルゴリズムの期待実行時間も $O(N \log \log N)$ で、空間計算量は $O(N \log N)$ である。
• アルゴリズムの最悪計算量は $O(N^2)$ であるが、これは $N$（クエリに一致するノード数）に限定して動作するため、インデックス全体のサイズに比べて著しく小さいことが特徴で、この問題を緩和する。
• randomNode 検索エンジンプロトタイプは、このアルゴリズムを実装し、.yu ウェブの 110 万ノードのデータセット上で実用性を実証した。