[論文レビュー] Design and Implementation of Domain based Semantic Hidden Web Crawler

Manvi Siwach, Komal Kumar Bhatia+1 more|arXiv (Cornell University)|Sep 23, 2015

Web Data Mining and Analysis参考文献 8被引用数 5

ひとこと要約

本論文では、ドメイン固有のデータベースを活用して、検索フォームのフィールドを意味的に適切に埋める仕組みを用いて、フォームベースのインターフェースから隠れたWebデータを抽出するドメイン特化型意味的クローラーを提案する。文法的またはランダムなフォーム入力に代えて意味的インサイトに基づいたクエリを生成することで、隠れたWebのクローリングにおける正確性とデータ品質が著しく向上し、関連する結果を抽出する際の再現率と正確率が向上する。

ABSTRACT

Web is a wide term which mainly consists of surface web and hidden web. One can easily access the surface web using traditional web crawlers, but they are not able to crawl the hidden portion of the web. These traditional crawlers retrieve contents from web pages, which are linked by hyperlinks ignoring the information hidden behind form pages, which cannot be extracted using simple hyperlink structure. Thus, they ignore large amount of data hidden behind search forms. This paper emphasizes on the extraction of hidden data behind html search forms. The proposed technique makes use of semantic mapping to fill the html search form using domain specific database. Using semantics to fill various fields of a form leads to more accurate and qualitative data extraction.

研究の動機と目的

• 従来のクローラーが、隠れたWeb上のHTML検索フォームの背後にあるデータにアクセスできないという限界に対処すること。
• フォームフィールドに対するヒューリスティックまたはランダムな入力の代わりに、フォームフィールドの意味的理解を用いることで、データ抽出の品質を向上させること。
• フォームフィールドを関連するデータベース属性にマッピングするドメイン特化型クローラーを開発し、正確なクエリ生成を実現すること。
• フォームフィールド内の意味的関係を活用することで、隠れたWebデータ収集の再現率と正確率を向上させること。

提案手法

• クローラーはドメイン特化型の知識ベースを用いて、フォームフィールドを関連する意味的エンティティおよび属性にマッピングする。
• ドメインコンテキストとスキーマに基づいて、フォームフィールドに適切な値を意味的推論によって推定する。
• システムはフォーム分析モジュールを採用し、HTML構造から入力フィールド、そのタイプ、制約を特定する。
• マッピングされた値をドメインデータベースから取得し、意味的に妥当なクエリを生成するクエリ生成エンジンを統合する。
• 生成されたクエリをターゲットウェブサイトに送信し、標準的なWebスクレイピング技術を用いて結果を抽出する。
• フィードバックメカニズムにより、結果の関連性を評価し、時間経過とともにフォーム入力戦略を最適化する。

実験結果

リサーチクエスチョン

• RQ1 意味的マッピングは、文法的またはランダムなアプローチと比較して、隠れたWebクローラーにおけるフォーム入力の正確性をどのように向上させるか？
• RQ2 ドメイン固有の知識は、隠れたWebデータ抽出における再現率と正確率にどのような影響を与えるか？
• RQ3 意味的推論は、検索フォームに送信される無効または不適切なクエリの数を削減できるか？
• RQ4 本提案クローラーは、従来のクローラーと比較して、フォームベースのWebインターフェースから構造化データを抽出する際、どのように性能を発揮するか？

主な発見

• 提案されたクローラーは、従来のクローラーと比較して、フォームベースのWebインターフェースからの関連データ抽出において、顕著に高い正確率と再現率を達成した。
• 意味的マッピングにより、文脈的に適切なフォームフィールド値を保証することで、無効または応答のないクエリの数が削減された。
• システムは、ドメイン固有のスキーマおよびエンティティ関係にフォーム入力を一致させることで、データ品質の向上を示した。
• フォーム入力にドメイン固有のデータベースを活用したことで、複数のターゲットウェブサイトにわたる一貫性があり信頼性の高いデータ抽出が実現された。