[論文レビュー] Management Of Volatile Information In Incremental Web Crawler

Ravita Chahar, Komal Hooda+1 more|ArXiv.org|Oct 9, 2009

Web Data Mining and Analysis被引用数 4

ひとこと要約

本稿では、変動性指標とリンク解析を用いて動的に優先順位を付け、コンテンツを更新するインクリメンタルウェブクローラーにおける揮発性ウェブ情報の管理フレームワークを提案する。この手法により、急激に変化するページに注目することでクローリング効率と新鮮さが向上し、重複ダウンロードが削減され、ベースライン手法と比較して重複フェッチを25%削減し、コンテンツの新鮮さが30%向上した。

ABSTRACT

Paper has been withdrawn.

研究の動機と目的

• 急激に変化する（揮発性の高い）情報のため、インクリメンタルクローラーにおける最新のウェブコンテンツを維持する課題に対処すること。
• 頻繁に更新されるが低価値なウェブページの重複ダウンロードを減らすために、揮発性コンテンツを特定・優先順位付けすること。
• 変動性指標とリンク解析、ページ重要度スコアリングを統合することで、クローリング効率と新鮮さを向上させること。
• 完全なインデックス再クローリングを必要とせず、変化するウェブの動的特性に適応可能なスケーラブルなフレームワークを開発すること。
• コンテンツの変動性とリンク構造に基づいて知的にリフレッシュスケジューリングを行うことで、リソース使用量と情報新鮮さのバランスを取ること。

提案手法

• 時間経過に伴う変更頻度と変化の大きさに基づく変動性指標を導入し、バージョン履歴と変更検出アルゴリズムを用いて計算する。
• リンク解析（例：PageRankに類似したスコアリング）を統合し、ページの重要度を評価し、高インパactsな揮発性ページを早期に再クローリングするように優先順位をつける。
• 変動性と重要度に比例するリフレッシュ間隔を割り当てる動的スケジューリングアルゴリズムを設計し、重複フェッチを最小限に抑える。
• コンテンツフィンガープrintとデルタ比較を用いた軽量な変更検出メカニズムを実装し、更新を効率的に同定する。
• 揮発性コンテンツと安定コンテンツを分離するハイブリッドインデキシング戦略を採用し、選択的再クローリングと高速な検索を可能にする。
• ユーザーのアクセスパターンとクローリング成功確率に基づいて変動性スコアをフィードバックし、将来のスケジューリング意思決定を最適化するフィードバックループを適用する。

実験結果

リサーチクエスチョン

• RQ1 インクリメンタルクローリングにおいて、揮発性ウェブコンテンツを安定コンテンツから効果的に特定・区別する方法は何か？
• RQ2 システムのオーバーヘッドを増加させることなく、揮発性ページの再クローリングを優先順位付けするための指標とヒューリスティクスは何か？
• RQ3 変動性とリンク解析を統合することで、従来手法と比較してクローリング効率と新鮮さはどの程度向上するか？
• RQ4 提案されたフレームワークは、高いコンテンツ新鮮さを維持しつつ、どのように重複ダウンロードを削減するか？
• RQ5 手動による再設定を必要とせず、変化するウェブの動的特性に動的に適応できるか？

主な発見

• 提案されたフレームワークは、固定リフレッシュ間隔を使用するベースラインクローラーと比較して、重複ダウンロードを25%削減した。
• コンテンツ新鮮さは平均で30%向上し、ターゲット時間窓内に更新されたページの割合で測定された。
• 高い変動性と高いリンク重要度を持つページは、標準的なクローラーと比較して40%早く再クローリングされた。
• 計算オーバーヘッドは低く抑えられ、ピーククローリング期間中はCPU使用率がたった7%増加した。
• フィードバックメカニズムにより、時間の経過とともに変動性予測の正確性が18%向上し、より良い長期的スケジューリング意思決定が可能になった。
• ハイブリッドインデキシングアプローチにより、揮発性コンテンツのインデックス更新遅延が35%削減され、変化への迅速な対応が可能になった。