[論文レビュー] Harnessing the Deep Web: Present and Future

Jayant Madhavan, Loredana Afanasiev+2 more|UvA-DARE (University of Amsterdam)|Sep 9, 2009

Web Data Mining and Analysis参考文献 14被引用数 94

ひとこと要約

本稿では、自動クローリングおよびクエリインターフェース抽出を用いて構造化Deep Webコンテンツを提示する実用的なシステムを提示している。本システムは、50以上の言語および数百のドメインをカバーし、1秒間に1,000件を超える検索クエリを処理するという実世界でのスケーラビリティを実証している。本稿は、仮想統合と対比して提示法の実用性とスケーラビリティを主張し、異種の構造化データ統合における主な研究的課題を特定している。

ABSTRACT

Over the past few years, we have built a system that has exposed large volumes of Deep-Web content to Google.com users. The content that our system exposes contributes to more than 1000 search queries per-second and spans over 50 languages and hundreds of domains. The Deep Web has long been acknowledged to be a major source of structured data on the web, and hence accessing Deep-Web content has long been a problem of interest in the data management community. In this paper, we report on where we believe the Deep Web provides value and where it does not. We contrast two very different approaches to exposing Deep-Web content -- the surfacing approach that we used, and the virtual integration approach that has often been pursued in the data management literature. We emphasize where the values of each of the two approaches lie and caution against potential pitfalls. We outline important areas of future research and, in particular, emphasize the value that can be derived from analyzing large collections of potentially disparate structured data on the web.

研究の動機と目的

• 実世界の検索システムにおけるDeep Webデータの実用的価値と限界を評価すること。
• Deep Webコンテンツにアクセスするための提示法と仮想統合のアプローチを比較すること。
• 大規模かつ異種の構造化データをDeep Webから統合するうえでの主な課題と機会を特定すること。
• 生産環境向けのDeep Webインデキシングシステムの実現可能性とパフォーマンスを実証すること。

提案手法

• クエリテンプレートおよびフォーム入力ヒューリスティクスを用いたDeep Webデータベースの自動クローリング。
• プログラムによるクエリ送信と応答の解析を通じて、動的Webフォームからの構造化データ抽出。
• 効率的な検索を可能にするために、提示されたコンテンツを集中型検索インデックスにインデックス化すること。
• 言語に依存せず、スキーマに依存しない技術を用いて、多言語および異種のデータソースを処理すること。
• 多様なドメインをカバーし、1秒間に1,000件を超えるクエリを処理できるスケーラブルなインfrastrucureの展開。
• クエリ数、言語の多様性、ドメインカバレッジを用いたシステムパフォーマンスの評価。

実験結果

リサーチクエスチョン

• RQ1 スケールでのDeep Webデータの提示において、仮想統合と比較して提示法はどの程度効果的か？
• RQ2 実世界での展開において、各アプローチの実用的限界とパフォーマンス上のトレードオフは何か？
• RQ3 自動技術を用いてDeep Webから効果的にインデックス化できる構造化データの量と多様性はどの程度か？
• RQ4 事前のスキーマアライメントなしで、多言語および異種のデータソースをどのように処理するか？
• RQ5 Deep Webコンテンツの提示のための生産環境向けシステムを構築するうえでの主な課題は何か？

主な発見

• 提示法は、50以上の言語および数百のドメインをカバーし、1秒間に1,000件を超える検索クエリを効果的にインデックス化し、提示した。
• システムは高いスケーラビリティと実世界でのパフォーマンスを示し、大規模なDeep Webコンテンツの提示の実現可能性を確認した。
• 仮想統合の理論的利点を考慮しても、生産環境での展開においては提示法がより実用的かつスケーラブルであることが判明した。
• スキーマの異種性とデータ品質の問題により、異なる構造化データソースを統合することは依然として大きな課題である。
• 本稿は、大規模かつ異種の構造化データの分析を、今後の研究の重要な方向性として特定し、極めて高い価値ポentialを有すると指摘している。