[論文レビュー] Intelligent Anticipated Exploration of Web Sites

Giovambattista Ianni|ArXiv.org|Nov 6, 2001

Web Data Mining and Analysis参考文献 18被引用数 3

ひとこと要約

本論文では、メタサーチ、ユーザープロフィールに基づく関連性順位付け、および予測的で選択的なウェブリンク探索を統合することで検索品質を向上させる知能的なウェブ検索エージェント、グローバルサーチエージェント（GSA）を提示する。ユーザーフィードバックと概念ツリーを活用して探索をガイドすることで、GSAは従来の検索エンジンを上回る正確性と再現率を達成し、短時間のメタサーチにおいて59.2％の正確性を達成するとともに、時間制約がない状況ではGoogleを上回る再現率を示した。

ABSTRACT

In this paper we describe a web search agent, called Global Search Agent (hereafter GSA for short). GSA integrates and enhances several search techniques in order to achieve significant improvements in the user-perceived quality of delivered information as compared to usual web search engines. GSA features intelligent merging of relevant documents from different search engines, anticipated selective exploration and evaluation of links from the current result set, automated derivation of refined queries based on user relevance feedback. System architecture as well as experimental accounts are also illustrated.

研究の動機と目的

• 完全なインデックス作成の欠落とキーワードのみの照合による従来のウェブ検索エンジンの再現率と正確性の限界を是正すること。
• 複数の検索エンジンからの結果統合とユーザープreferencesへの適応を通じて、情報検索の質を向上させること。
• 関連ドキュメント周辺のハイパーリンクに対する予測的で選択的な探索により、検索空間を縮小し、効率を向上させること。
• ユーザーフィードバックから学習することでクエリを精緻化し、結果の関連性を向上させる、適応的検索を可能とすること。
• 恒久的な情報収集を支援する、自動的・定期的・リモートでの検索操作をサポートすること。

提案手法

• GSAは、複数の検索エンジン（例：Google、Altavista）を同時に照会するメタサーチエンジンを用い、重み付け順位戦略を用いて結果を統合する。
• スパイダー・エンジンは、関連性の高いドキュメントに隣接するリンクを、関連ページが集まっているという局所性の原則に従って、予測的探索を実行する。
• ユーザープreferencesは、構造化された概念ツリーによってモデル化され、意味的に関連するドキュメントパスへの検索を制限する。
• 取得したドキュメントに対するユーザーフィードバックは、クエリの精緻化と関連性スコアの調整に用いられ、適応的学習を可能にする。
• システムはリモート実行とスケジュール付き検索をサポートしており、リンク探索およびエンジン選択の攻撃性をカスタマイズ可能である。
• フィードバック・エンジンは関連性信号を管理し、ユーザーデータの承認に基づいて検索行動を動的にチューニングする。

実験結果

リサーチクエスチョン

• RQ1 知的な選択的ウェブリンク探索は、正確性を損なわせることなく再現率を向上させることができるか？
• RQ2 ユーザーフィードバックによる関連性評価は、メタサーチ結果の正確性をどの程度向上させることができるか？
• RQ3 ドキュメントの局所性に基づく予測的探索は、網羅的クローリングと比較して、結果の質と効率性においてどのように異なるか？
• RQ4 メタサーチ、フィードバック学習、リンク走査を統合したハイブリッドアーキテクチャは、単体の検索エンジンを上回る性能を示せるか？
• RQ5 ユーザーデフォルメの概念ツリーは、検索プロセスのガイドラインと制限要因として、どの程度の影響を及ぼすか？

主な発見

• 短時間のメタサーチ（30秒）において、GSAは59.2％の正確性を達成し、Altavista（37.5％）やHotbot（24.0％）を大きく上回ったが、Google（83.0％）には及ばなかった。
• 時間的制約がない状況では、GSAがGoogleを上回る再現率を示し、より深い予測的探索を活用して関連性の高いドキュメントをより多く取得した。
• 平均して、GSAはGoogleの結果に約同等の高品質ドキュメントを追加し、正確性を低下させることなくカバレッジを向上させた。
• 選択的スパイダー戦略により、有望なパスに集中することで不要な探索を削減したという点で、本システムの有効性が裏付けられた。
• 高い帯域幅（2 Mbps）を備えていたにもかかわらず、実装上のオーバーヘッドのため、プロトタイプのドキュメントパーサー速度は約50 Kbpsに制限され、パフォーマンスのボトルネックが浮き彫りになった。
• 本アプローチは、定期的なニュース収集、迅速なサイトインデックス作成、エージェント支援ブラウジングなどのユースケースに適しており、処理速度よりも結果の質が優先される状況に特に適している。