[論文レビュー] Design of Automatically Adaptable Web Wrappers

Emilio Ferrara, Robert Baumgartner|CogPrints (University of Southampton)|Mar 7, 2011

Web Data Mining and Analysis参考文献 18被引用数 6

ひとこと要約

本稿では、HTML DOM 構造のツリー・グラムスナップショットを用いて、ウェブページの構造的変更を検出し、それに適応する自動ウェブラッパー適合技術を提案する。元の DOM 樹木と現在の DOM 樹木の間でクラスタリングされたツリー照合アルゴリズムを適用することにより、システムは最小限の人的介入でラッパーを自己適合可能にし、動的ウェブ環境におけるメンテナンスコストを顕著に低減するとともに、高い抽出精度と耐障害性を維持する。

ABSTRACT

Nowadays, the huge amount of information distributed through the Web motivates studying techniques to be adopted in order to extract relevant data in an efficient and reliable way. Both academia and enterprises developed several approaches of Web data extraction, for example using techniques of artificial intelligence or machine learning. Some commonly adopted procedures, namely wrappers, ensure a high degree of precision of information extracted from Web pages, and, at the same time, have to prove robustness in order not to compromise quality and reliability of data themselves. In this paper we focus on some experimental aspects related to the robustness of the data extraction process and the possibility of automatically adapting wrappers. We discuss the implementation of algorithms for finding similarities between two different version of a Web page, in order to handle modifications, avoiding the failure of data extraction tasks and ensuring reliability of information extracted. Our purpose is to evaluate performances, advantages and draw-backs of our novel system of automatic wrapper adaptation.

研究の動機と目的

• HTML ウェブページにおける頻繁な構造的変更により生じるウェブラッパーの高いメンテナンスコストを解消すること。
• ページ更新後のラッパーの手動デバッグおよび再設定に依存することを減らすこと。
• ラッパーが人為的な再プログラミングなしに、微小な構造的変更に自動的に適応できることを実現すること。
• 生産環境におけるウェブラッパーの耐障害性および耐久性を向上させること。
• DOM 樹木間の構造的類似度検出を用いた、スケーラブルで自動化されたラッパー適合ソリューションの開発

提案手法

• 将来的な比較のため、ラッパー作成時に DOM 樹木のスナップショット（ツリー・グラム）を保存する。
• 元の DOM 樹木と現在の DOM 樹木の間で構造的類似度を計算するために、クラスタリングされたツリー照合アルゴリズムを適用する。
• ノードラベルおよび構造的特徴に基づいて、部分木間の最大マッチングを動的計画法で計算する。
• ノード次数、兄弟数、属性類似度（例：class、id、href）を組み込むことで、マッチングの正確性を向上させる。
• マッチングされたノード数と最大兄弟数の比として類似度スコアを定義し、精度を設定可能にする。
• 検出された構造的類似度に基づいて、自動的に XPath 式および抽出ルールを更新し、ラッパーの機能を維持する。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてウェブラッパーを HTML ウェブページの微小な構造的変更に自己適合可能にすることができるか？
• RQ2 2つの DOM 樹木間の構造的類似度を測定するための効率的で正確な方法は何か？
• RQ3 ツリー照合アルゴリズムを拡張することで、設定可能な精度を備えた自動ラッパー適合を実現できるか？
• RQ4 自動適合によって、手動によるラッパーメンテナンスの必要性はどの程度低減できるか？
• RQ5 実世界のシナリオにおいて、提案された適合メカニズムの性能は手動再設定と比べてどの程度優れているか？

主な発見

• クラスタリングされたツリー照合アルゴリズムは、元のページと変更後のページ間で類似した部分木を効果的に同定し、正確なラッパー適合を可能にする。
• 要素の再順序化や微小な DOM 変更といったさまざまな構造的変更に対しても、システムはラッパーの機能を正常に維持する。
• 適合プロセスにより人的介入の必要性が顕著に低減され、メンテナンスコストの低減と長期的な信頼性の向上が達成される。
• ページレイアウトが再編成されても、類似した構造的パターンのマッチングにおいて高い精度が達成される。
• Lixto Suite プラットフォーム内での実世界での展開において、本手法はスケーラビリティと耐障害性を示している。
• 検証実験の結果、適合されたラッパーはデータ抽出精度を維持しており、腐敗や障害率が最小限に抑えられている。