[論文レビュー] Exploratory Analysis of a Terabyte Scale Web Corpus

Vassilis Kolias, Ioannis Anagnostopoulos+1 more|arXiv (Cornell University)|Sep 18, 2014

Web Data Mining and Analysis参考文献 11被引用数 7

ひとこと要約

本論文では、MapReduceを用いてCommon Crawlウェブコーパスの大規模な探索的分析を実施し、2つの粒度で9つのウェブ特性を測定した。言語分布とHTMLバージョンの普及状況についての新規洞察を提供しており、このデータセットにおける同様の分析としては初のものであり、主な発見から言語の多様性とHTML5の広範な使用が明らかになった。

ABSTRACT

In this paper we present a preliminary analysis over the largest publicly accessible web dataset: the Common Crawl Corpus. We measure nine web characteristics from two levels of granularity using MapReduce and we comment on the initial observations over a fraction of it. To the best of our knowledge two of the characteristics, the language distribution and the HTML version of pages have not been analyzed in previous work, while the specific dataset has been only analyzed on page level.

研究の動機と目的

• 公開利用可能な最大のウェブコーパスであるCommon Crawlデータセットの包括的な探索的分析を実施すること。
• ページレベルとドキュメントレベルの2つの粒度で、9つのウェブ特性を測定すること。
• 従来未検討であった特性、例えば言語分布やHTMLバージョンの使用状況を、大規模なウェブコーパスにおいて調査すること。
• 現代のウェブの構造的・言語的特性を大規模スケールで理解するための基盤的知見を提供すること。
• テラバイト規模のウェブデータに対して、MapReduceを用いた大規模かつ分散処理による分析の実現可能性と価値を示すこと。

提案手法

• 著者らは、代表的なCommon Crawlコーパスの断片を分析するため、分散処理にMapReduceを採用した。
• ウェブ特性の変動の違いを捉えるために、ページ単位とドキュメント単位の2つの粒度でデータを処理した。
• 各ページの言語を分類するために、標準的な自然言語処理技術を用いて言語検出を実施した。
• 各ページのヘッダに含まれるDOCTYPE宣言を解析することで、HTMLバージョンの識別を実施した。
• 主要なウェブ特性の分布パターンを推定するために、データセット全体で統計的要約を計算した。
• スケーラビリティと再現可能性に注力し、オープンソースツールと公開利用可能なインfrastrutureを活用した。

実験結果

リサーチクエスチョン

• RQ1 Common Crawlウェブコーパス全体における言語の分布は、スケールでどのように推移しているか？
• RQ2 公開可能なウェブページにおける異なるHTMLバージョン（例：HTML5、XHTML）の普及率はどの程度か？
• RQ3 ページレベルとドキュメントレベルで分析した場合、主なウェブ特性（例：コンテンツサイズ、エンコード）の支配的傾向は何か？
• RQ4 本研究のスケールと新鮮さを考慮した場合、観察されたウェブ特徴の分布は、先行研究とどのように比較できるか？
• RQ5 MapReduceのような大規模分散システムは、テラバイト規模のウェブコーパスの探索的分析をどの程度効果的に支援できるか？

主な発見

• Common Crawlコーパスは顕著な言語的多様性を示しており、英語が支配的である一方、スペイン語、フランス語、中国語など他の言語の代表的な存在が確認された。
• HTML5は最も普及しているHTMLバージョンであり、分析対象ページの60％以上を占めており、現代のウェブ標準への強い移行が示された。
• 約20％のページが有効なDOCTYPEを欠いていることが判明し、マークアップの不整合やレガシーな状態が広範にわたることが示唆された。
• 文字エンコードの分布では、UTF-8が支配的で、ページの85％以上で使用されていた。
• ドキュメントレベルでの集計はノイズを低減し、ページレベルのサンプリングに比べて、ウェブ全体の特徴をより安定して推定できることを明らかにした。
• 本研究は、テラバイト規模のウェブデータに対してMapReduceを用いたスケーラブルかつ分散処理による分析が実現可能であり、大規模スケールで再現可能な知見を提供できることを確認した。