[論文レビュー] A Benchmark Suite for Template Detection and Content Extraction

Julián Alarte, Josep Silva|arXiv (Cornell University)|Sep 22, 2014

Web Data Mining and Analysis参考文献 2被引用数 3

ひとこと要約

本論文では、テンプレート検出、コンテンツ抽出、メインメニュー特定のためのゴールドスタンダードを備えた、150の異種で実際のウェブページから構成される公開ベンチマークスイートであるTECOを紹介する。このスイートにより、各ウェブページの各コンponentに対して標準化され自動化された評価と比較が可能となり、ウェブコンテンツ分析手法の評価が促進される。

ABSTRACT

Template detection and content extraction are two of the main areas of information retrieval applied to the Web. They perform different analyses over the structure and content of webpages to extract some part of the document. However, their objective is different. While template detection identifies the template of a webpage (usually comparing with other webpages of the same website), content extraction identifies the main content of the webpage discarding the other part. Therefore, they are somehow complementary, because the main content is not part of the template. It has been measured that templates represent between 40% and 50% of data on the Web. Therefore, identifying templates is essential for indexing tasks because templates usually contain irrelevant information such as advertisements, menus and banners. Processing and storing this information is likely to lead to a waste of resources (storage space, bandwidth, etc.). Similarly, identifying the main content is essential for many information retrieval tasks. In this paper, we present a benchmark suite to test different approaches for template detection and content extraction. The suite is public, and it contains real heterogeneous webpages that have been labelled so that different techniques can be suitable (and automatically) compared.

研究の動機と目的

• テンプレート検出およびコンテンツ抽出手法を評価するための、公開可能で異種のベンチマークスイートの不足に対処すること。
• 実際のウェブページにおけるテンプレート、主要コンテンツ、メインメニューのラベル付けのゴールドスタンダードを提供することで、一貫した評価を確保すること。
• パrameterチューニングと性能測定のための非重複なベンチマークセットを提供することで、テストおよび評価の両フェーズを支援すること。
• ユーザーがスイートを使用する際に、公開された報告と完全な実験文書の提出を義務づけることで、再現可能な研究を促進すること。
• 時間の経過とともに、新しいウェブサイトやメニュー検出の追加ラベルを含めてスイートを拡張することで、長期的な有用性を確保すること。

提案手法

• TECOベンチマークスイートは、wget や SiteSucker などのツールを用いて150の実際のウェブサイトをダウンロードすることで構築され、多様なコンテンツタイプと言語をカバーする。
• ウェブサイトは、ニュース、ブログ、フォーラム、EC、個人サイトなど多様な分野をカバーするように選定され、異種性を確保する。
• 各ウェブページは手動でラベル付けされ、主要コンテンツ、テンプレート領域、メインメニュー要素を特定し、評価のためのゴールドスタンダードが作成された。
• スイートには、ベンチマークを簡素化するための自動化スクリプトが含まれており、研究者がその手法を効率的にテストおよび比較できるようにしている。
• ベンチマークプロセスでは、データ漏洩を防ぎ、公正な性能測定を確保するため、テストセットと評価セットを分離している。
• スイートはバージョン管理されており、公開ホスティングされており、新しいウェブサイトやラベルの追加（例：最終年度に20件の新規ベンチマークの追加）により継続的に更新されている。

実験結果

リサーチクエスチョン

• RQ1 標準化され、公開可能なベンチマークスイートは、テンプレート検出およびコンテンツ抽出手法の再現性と比較可能性をどのように向上させるか？
• RQ2 多様で実際のウェブサイトを含めることで、異なるウェブ構造にわたる評価結果の一般化性はどの程度向上するか？
• RQ3 テンプレート、主要コンテンツ、メインメニューの統一ゴールドスタンダードは、複数の研究グループにわたる一貫性があり客観的な評価を可能にするか？
• RQ4 ベンチマークスイートにおけるテストセットと評価セットの分離は、性能測定の信頼性にどのように影響するか？
• RQ5 多言語ウェブサイトの含めることで、コンテンツ抽出およびテンプレート検出アルゴリズムの頑健性にどのような影響が生じるか？

主な発見

• TECOベンチマークスイートは、複数の分野、言語、構造をカバーする150の実際の異種ウェブページから構成され、広範な適用性を有する。
• 各ウェブページについて、主要コンテンツ、テンプレート、メインメニューの手作業によるキュレート済みゴールドスタンダードラベルが含まれており、正確な評価が可能である。
• スイートは公開されており、無料で利用可能であり、研究者が結果を公開し、完全な実験の再現性を提供することが義務付けられている。
• 提供されたスクリプトを通じて自動化されたベンチマークが可能であり、研究ワークフローへの統合を容易にする。
• 著者らは、以前のベンチマークスイートがいずれも入手不可、特許権付き、またはテンプレート検出に不適切であったため、TECOの作成が正当化されたと報告している。
• スイートは時間の経過とともに拡張されており、65から150のウェブサイトに拡大され、関連性とカバー範囲を維持するための継続的な更新が行われている。