[論文レビュー] Documenting the English Colossal Clean Crawled Corpus.

Jesse Dodge, Maarten Sap+5 more|arXiv (Cornell University)|Apr 18, 2021

Natural Language Processing Techniques参考文献 44被引用数 20

ひとこと要約

この論文は、Common Crawlから得られた大規模でフィルタリングされたテキストコーパスであるColossal Clean Crawled Corpus (C4)について、初めて包括的な文書化を提供する。データソースの分析、特にアフリカ系アメリカン英語（AAE）に及ぼすフィルタリングの影響、ベンチマーク例の含まれる状況を特定するとともに、コミュニティが活用可能なインタラクティブなWebインターフェースをリリースする。

ABSTRACT

As language models are trained on ever more text, researchers are turning to some of the largest corpora available. Unlike most other types of datasets in NLP, large unlabeled text corpora are often presented with minimal documentation, and best practices for documenting them have not been established. In this work we provide the first documentation for the Colossal Clean Crawled Corpus (C4; Raffel et al., 2020), a dataset created by applying a set of filters to a single snapshot of Common Crawl. We begin with a high-level summary of the data, including distributions of where the text came from and when it was written. We then give more detailed analysis on salient parts of this data, including the most frequent sources of text (e.g., this http URL, which contains a significant percentage of machine translated and/or OCR'd text), the effect that the filters had on the data (they disproportionately remove text in AAE), and evidence that some other benchmark NLP dataset examples are contained in the text. We release a web interface to an interactive, indexed copy of this dataset, encouraging the community to continuously explore and report additional findings.

研究の動機と目的

• 自然言語処理分野における大規模でラベルなしのテキストコーパスの文書化のベストプラクティスを確立すること。現状、こうしたコーパスには標準化された文書化が存在しない。
• データの出自、時間的分布、ソースの特性を含めた、Colossal Clean Crawled Corpus (C4)の詳細な分析を提供すること。
• フィルタリングプロセスが言語的多様性に与える影響、特にアフリカ系アメリカン英語（AAE）のテキストに対して不均衡に影響を及ぼす点を検証すること。
• C4コーパス内に既知のベンチマークNLPデータセットの例が含まれているかどうかを特定・検証すること。
• 継続的なコミュニティの探索と発見を可能にする、インタラクティブでインデックス化されたWebインターフェースをリリースすること。

提案手法

• 著者たちは、C4に含まれるテキストの起源と時間的分布を追跡するために、Common Crawlデータセットの1つのスナップショットを分析する。
• テキストの最も頻出するソースを特定・分類し、機械翻訳やOCR処理済みコンテンツを多く含むURLを特定する。
• フィルタリングパイプラインが言語的多様性に与える影響、特にアフリカ系アメリカン英語（AAE）テキストへの影響を評価する。
• C4コーパス内に既知のベンチマークNLP例（例：GLUE, SuperGLUE）が存在するかを体系的に検索する。
• C4コーパスをインデックス化したインタラクティブでリアルタイムの探索が可能なWebインターフェースを構築・リリースする。

実験結果

リサーチクエスチョン

• RQ1 Colossal Clean Crawled Corpusに含まれるテキストの主なソースと時間的分布は何か？
• RQ2 C4で用いられるフィルタリング手順が、アフリカ系アメリカン英語（AAE）のような特定の言語的バリエーションの表現に与える影響はいかほどか？
• RQ3 既存のベンチマークNLPデータセットがC4コーパスにどの程度含まれているか？
• RQ4 C4で最も頻出するURLに、主に機械翻訳済みまたはOCR処理済みのテキストが占める割合はどの程度か？
• RQ5 インタラクティブでインデックス化されたインターフェースは、大規模テキストコーパスのコミュニティ参加と継続的分析をどのように向上させるか？

主な発見

• C4で最も頻出するソースは、機械翻訳済みおよび／またはOCR処理済みテキストを多く含む1つのURLである。
• フィルタリングパイプラインはアフリカ系アメリカン英語（AAE）のテキストを不均衡に削除しており、最終的なコーパスにおけるその表現が減少している。
• GLUE や SuperGLUE からの既知のベンチマークNLPデータセットの例が、C4コーパス内に存在することが確認された。
• このデータセットには、低品質または自動化されたコンテンツのウェブクロールから得られる部分が顕著に含まれる多様なテキストソースが存在する。
• インタラクティブでインデックス化されたWebインターフェースのリリースにより、リアルタイムでの探索が可能となり、コミュニティ主導のコーパス特性の発見が支援された。