[論文レビュー] Building a Web-Scale Dependency-Parsed Corpus from CommonCrawl

Alexander Panchenko, Eugen Ruppert+3 more|arXiv (Cornell University)|Oct 4, 2017

Topic Modeling参考文献 23被引用数 8

ひとこと要約

本稿では、Common Crawlウェブアーカイブに含まれる3億6500万件のドキュメントから構築された、公開済みの英語コーパスとして最大の依存構文解析済みおよび名前付きエンティティタグ付きコーパスであるDepCCを提示する。スケーラブルなMapReduceパイプラインを用いて、著者たちはデータをクリーニングし、重複を除外し、言語的特徴を付与することで、高性能な自然言語処理（NLP）モデルの構築を可能にした。DepCC上で学習された分布的動詞類似度モデルは、SimVerb3500ベンチマークで先行する最先端モデルを上回り、ウェブ規模の言語資源の価値を示している。

ABSTRACT

We present DepCC, the largest-to-date linguistically analyzed corpus in English including 365 million documents, composed of 252 billion tokens and 7.5 billion of named entity occurrences in 14.3 billion sentences from a web-scale crawl of the extsc{Common Crawl} project. The sentences are processed with a dependency parser and with a named entity tagger and contain provenance information, enabling various applications ranging from training syntax-based word embeddings to open information extraction and question answering. We built an index of all sentences and their linguistic meta-data enabling quick search across the corpus. We demonstrate the utility of this corpus on the verb similarity task by showing that a distributional model trained on our corpus yields better results than models trained on smaller corpora, like Wikipedia. This distributional model outperforms the state of art models of verb similarity trained on smaller corpora on the SimVerb3500 dataset.

研究の動機と目的

• 既存の大規模コーパスの限界、たとえばサイズの制限、言語的特徴の欠如、アクセスの難しさ、特にウェブ規模のデータに関して、それらを是正すること。
• 生のCommon Crawl WETダンプを、言語的豊かで、重複除去され、検索可能なコーパスに変換するためのスケーラブルで自動化されたパイプラインの開発。
• 自然言語処理（NLP）の高度なタスクを支援する、ウェブ規模で、依存構文解析済みかつ名前付きエンティティタグ付きのコーパスの作成。このコーパスは、膨大な事前処理を要せず、即座に利用可能である。
• より大きなコーパスとより豊かな言語的特徴（依存構文解析、NER）が動詞類似度タスクのパフォーマンスに与える影響を実証すること。
• コーパスと関連ツール（インデックス、API、Webインターフェース）を公開し、NLP研究分野における広範なアクセスと再利用を可能にすること。

提案手法

• コーパスは、生のウェブページから抽出された平文を含むCommon Crawl WETアーカイブから構築される。
• MapReduceベースのパイプラインが、MinHashとシングリングを用いて、類似する重複文書を除去する。
• 各ドキュメントに対して、多言語対応の品詞タガー、依存構文解析器（Stanford CoreNLP）、名前付きエンティティ認識器（Stanford NER）が適用される。
• 文の各単位に、品詞（POS）、依存関係、NERなどの言語的メタデータに加え、出典情報（元URL、オフセット）を保存することで、追跡可能性を確保する。
• 文と言語的特徴の上にインverted indexを構築し、WebインターフェースやREST APIを介して高速検索を可能にする。
• すべての事前処理および特徴付与ステップが、コーパス全体に一貫的かつスケーラブルに適用される。

実験結果

リサーチクエスチョン

• RQ1 オープンウェブから抽出された大規模で言語的特徴が豊富なコーパスは、Wikipediaのような小規模で手作業で整備されたコーパスを上回る性能を示せるか？
• RQ2 コーパスのサイズと言語的豊かさ（依存構文解析、NER）が、動詞類似度タスクのパフォーマンスに与える影響はどの程度か？
• RQ3 スケーラブルで自動化されたパイプラインは、NLP研究を対象としたウェブ規模のデータのクリーニング、重複除去、特徴付与を効果的に行えるか？
• RQ4 ウェブ規模で依存構文解析済みのコーパス上で学習された分布的モデルは、SimVerb3500で最先端のパフォーマンスを達成できるか？
• RQ5 このようなコーパスは、構文に配慮した単語埋め込みやその他のNLPモデルの学習に、実用的で即座に利用可能なリソースとして機能できるか？

主な発見

• DepCCコーパスには3億6500万件のドキュメント、2520億トークン、143億文、75億の名前付きエンティティ出現が含まれており、公開済みの英語コーパスの中で最大の依存構文解析済みコーパスである。
• DepCC上で学習された分布的動詞類似度モデルは、SimVerb3500データセットでスピアマン相関係数0.782を達成し、先行する最先端モデルを上回った。
• 同じハイパーパrameterを用いても、Wikipediaや他の小規模コーパスで学習されたモデルに比べ、DepCCで学習されたモデルは優れた性能を示した。これは、コーパスの規模と言語的深さの影響を示している。
• 性能向上は、スケールと構文的特徴の組み合わせに起因するとされ、モデルが依存構文解析を活用して動詞の使用における構造的パターンを捉えていることが要因である。
• コーパスはWebインターフェースやREST APIを介して効率的な検索が可能であり、出典追跡機能により再現性とデータの出典追跡が可能である。
• この手法はスケーラブルかつ再利用可能であり、同様のパイプラインを他の言語に拡張する可能性を秘めている。