[論文レビュー] A new approach to relevancy in Internet searching - the "Vox Populi Algorithm"

Andreas Schaale, Carsten Wulf-Mathies+1 more|ArXiv.org|Aug 23, 2003

Web Data Mining and Analysis参考文献 4被引用数 4

ひとこと要約

本稿では、ユーザーのクエリ分析に基づいてクローラーリソースの動的割り当てを調整することで、検索エンジンの関連性を向上させる新しい手法、ボクス・ポプリ・アルゴリズム（VPA）を提案する。ユーザーの関心を、クエリの関連性の単調関数を用いたフィードバックループによってクローリング優先順位を変更することでモデル化し、既存のランク付けシステムを置き換えることなく、人気で関連性の高いコンテンツの検出を強化する。また、リンクランク分布の分散を用いた統計的手法によりスパム集団を検出する仕組みも導入している。

ABSTRACT

In this paper we will derive a new algorithm for Internet searching. The main idea of this algorithm is to extend the existing algorithms by a component, which reflects the interests of the users more than existing methods. The "Vox Populi Algorithm" (VPA) creates a feedback from the users to the content of the search index. The information derived from the users query analysis is used to modify the existing crawling algorithms. The VPA controls the distribution of the resources of the crawler. Finally, we also discuss methods of suppressing unwanted content (spam).

研究の動機と目的

• 静的および動的ランク付けアルゴリズムの限界を克服し、リアルタイムでのユーザー関心を捉えること。
• ユーザー行動をクローラーリソースの割り当てに組み込むことで、検索の関連性を向上させること。
• 自然なリンク成長を模倣する人工的リンクスパム集団を特定する手法を開発すること。
• 既存のクローリングおよびランク付けシステムに、軽量で適応可能なフィードバックメカニズムを拡張すること。

提案手法

• VPAは、ユーザーのクエリ分析から導出される関連性補正要因 R_VPA を用いて、クローラーのリソース配分行列 M を変更する。
• R_VPA は (1 + α·λ^β) として定義され、λ はクエリの関連性を表し、α, β は単調性と単純性を保証する調整可能なパラメータである。
• アルゴリズムは、ユーザーのクエリ頻度とキーワード密度を用いて文書の関連性を推定し、動的（コンテンツベース）および静的（リンクベース）のランク付けコンポonentを統合する。
• スパム集団の検出に、φ(R_s^j) = e^{-(R_s^j - R_0)^2 / σ^2} という統計モデルを用いて、インcomingリンクランクの分布を分析する。
• リンクランクの標準偏差 σ が臨界閾値 σ_critical よりも低い場合、スパム集団と特定される。これは、自然に多様なリンクソースから成る集団とは区別できる。
• 本手法は、既存のランク付けシステムを置き換えるのでなく、フィードバック駆動のコンponentを拡張することで、それらと後方互換性を保っている。

実験結果

リサーチクエスチョン

• RQ1 大規模なウェブインデクシングにおいて、ユーザーのクエリパターンをどのように活用すれば、検索結果の関連性を向上させられるか？
• RQ2 既存のランク付けシステムを破壊せずに、リアルタイムでのユーザー関心に基づいてクローラー行動をどのように適応させるか？
• RQ3 人工的リンクスパム集団を、自然に成長したリンクネットワークからどのように区別できるか？
• RQ4 単純でパラメータ化された関数を用いて、クエリフィードバックに基づきクローリング優先順位を動的に調整できるか？
• RQ5 リンクランク分布のどの統計的性質が、スパムと有機的リンク成長を信頼性高く区別するか？

主な発見

• VPA補正要因 R_VPA により、ユーザーのクエリ関連性がより高いドメインにクローラーリソースが優先的に割り当てられ、人気コンテンツの検出が向上する。
• lim_{λ→0} R_VPA = 1 であるため、ユーザー関心が低い場合には変更が生じない。これにより、既存のランク付けシステムとの後方互換性が維持される。
• スパム集団は、自然な集団（σ² ≈ 1.1）と比較して著しく低い分散（σ² ≈ 0.5–0.7）を示す。この差異により、統計的手法による検出が可能となる。
• リンクランクの標準偏差を用いることで、人工的スパム集団と自然に成長したリンクネットワークを効果的に区別できる。
• 2つの自由パラメータ（α, β）を用いた調整により、局所的な検索環境に適応可能であり、過学習を避けることができる。
• クローリング意思決定にユーザーのフィードバックを統合することで、コアのランク付け論理を変更せずに、ユーザーが感じ取る関連性の向上が明確に観察された。