[論文レビュー] Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus

Jesse Dodge, Maarten Sap+6 more|arXiv (Cornell University)|Apr 18, 2021

Natural Language Processing Techniques被引用数 7

ひとこと要約

この論文は、最先端の言語モデルを訓練するために使用される大規模なウェブテキストコーパス「Colossal Clean Crawled Corpus (C4)」の包括的な文書化を提供している。データソース、コンテンツ品質、フィルタリングの影響を分析し、機械生成テキストの顕著な存在、ベンチマークデータセットからの汚染、マイノリティ言語テキストの偏った削除といった問題を明らかにするとともに、ウェブ規模NLPデータセットにおけるマルチレベル文書化の推進を提言している。

ABSTRACT

Large language models have led to remarkable progress on many NLP tasks, and researchers are turning to ever-larger text corpora to train them. Some of the largest corpora available are made by scraping significant portions of the internet, and are frequently introduced with only minimal documentation. In this work we provide some of the first documentation for the Colossal Clean Crawled Corpus (C4; Raffel et al., 2020), a dataset created by applying a set of filters to a single snapshot of Common Crawl. We begin by investigating where the data came from, and find a significant amount of text from unexpected sources like patents and US military websites. Then we explore the content of the text itself, and find machine-generated text (e.g., from machine translation systems) and evaluation examples from other benchmark NLP datasets. To understand the impact of the filters applied to create this dataset, we evaluate the text that was removed, and show that blocklist filtering disproportionately removes text from and about minority individuals. Finally, we conclude with some recommendations for how to created and document web-scale datasets from a scrape of the internet.

研究の動機と目的

• 大規模なウェブクロール言語データセット（C4など）における包括的で徹底的な文書化の欠如に応えること。こうしたデータセットは、最先端の言語モデルを訓練するために不可欠である。
• C4内のテキストの出自と構成を調査し、特に特許や政府ウェブサイトなど予期しないソースの特定を目的とする。
• 特にブロックリストベースの削除手法が、マイノリティとされる言語的グループ（アフリカ系アメリカン英語、LGBTQ+関連コンテンツなど）の表出に与える影響を評価すること。
• 民族的用語とセンチメント語彙の共起パターンを分析することで、C4におけるセンチメントバイアスを定量化し、特定の民族的アイデンティティに対する肯定的評価の不均衡を明らかにすること。
• 今後のウェブ規模NLPデータセットにおいて、再現可能性と公平性を高めるために、標準化されたマルチレベルの文書化（メタデータ、コンテンツ、除外記録）を提唱すること。

提案手法

• 2019年4月のCommon Crawlスナップショットから得られたC4.enデータセットを収集・分析し、ドメインレベルのメタデータとテキストレベルのフィルタリング技術を用いた。
• 99%以上の信頼度で英語と分類されたドキュメントのみを保持するために、言語検出モデル（langdetect）を訓練・適用した。
• トークン化と共起分析を用いて、NYTimes や Al Jazeera などのドメイン固有のサブセットと比較し、民族的用語（例：'Jewish' と 'Arab'）のセンチメントパターンを分析した。
• VADER、SocialSent、およびUNQOVERの質問から手動で収集した語彙を用いて、ターゲットの民族的用語を含む段落におけるセンチメント極性を推定した。
• ブロックリストフィルタリングを適用し、特にアフリカ系アメリカン英語やLGBTQ+アイデンティティ関連の言語的バリエーションに属するテキストが、不均等に削除されているかを調査した。
• C4の3つのフィルタリング済みバージョン、インデックス検索インターフェース、パubbリックディスカッションリポジトリを提供し、再現可能性とコミュニティによる監視を支援した。

実験結果

リサーチクエスチョン

• RQ1 C4コーパスにおけるテキストの主なソースは何か？ 一般的なウェブコンテンツの期待される分布と比較するとどうか？
• RQ2 C4コーパスに機械生成テキストやベンチマークNLPデータセットからの汚染がどの程度含まれているか？
• RQ3 特にブロックリストベースの削除が、マイノリティとされる言語的グループの表出に与える影響は何か？
• RQ4 特定の民族的アイデンティティに対してC4にどのようなセンチメントバイアスが存在し、ドメインやセンチメント語彙によってどのように変化するか？
• RQ5 ウェブ規模言語データセットの包括的でマルチレベルの文書化フレームワークの主要構成要素は何か？

主な発見

• C4には、一般的なウェブテキストコーパスとは関連が薄いとされる、米国軍のウェブサイト（.mil）や特許データベースからのテキストが顕著に含まれている。
• SocialSent語彙を用いた分析では、'Jewish' を含む段落のセンチメント保持トークンのうち約73.2%が肯定的と分類されたが、'Arab' については65.7%にとどまり、肯定的評価のギャップは7.5ポイントで 'Jewish' に有利に働く。
• ブロックリストフィルタリングは、マイノリティとされる言語的バリエーション（特にアフリカ系アメリカン英語やLGBTQ+関連コンテンツ）のテキストを不均等に削除していた。
• UnifiedQAモデルでは、'Jewish' に対して67.1%の肯定的関連性が、'African' に対してはたった36.6%にとどまり、C4の学習データに一致する強いモデルレベルのバイアスが確認された。
• センチメントバイアスはドメインに依存していた：NYTでは 'Jewish' と 'Arab' の間で4.5%の肯定的ギャップが観察されたが、Al Jazeera ではほぼ差がなく（42.5% 対 42.8%）、文脈依存のバイアスが顕著に現れた。
• 本研究は、C4の3つのフィルタリング済みバージョン、インデックス検索インターフェース、パブリックディスカッションフォーラムを公開し、再現可能性とコミュニティ主導の分析を支援した。