[論文レビュー] Towards a Cleaner Document-Oriented Multilingual Crawled Corpus

Julien Abadji, Pedro Ortiz Suárez+2 more|arXiv (Cornell University)|Jan 17, 2022

Web Data Mining and Analysis被引用数 10

ひとこと要約

本論文は、OSCAR 21.09を基に、Ungoliantパイプラインを再設計し、文書レベルでの言語分類を実装することで、文書の整合性を保ちながら、新しい自動アノテーションを用いた洗練されたフィルタリングを可能にする文書指向型で多言語対応のウェブコーパスを提案する。主な貢献は、OSCAR 22.01であり、12GBの多言語コーパスで、重複除去、行フィルタリング、メタデータアノテーションを備え、品質に配慮したフィルタリングが可能となり、自然言語処理およびデジタル・ヒューマニティーズ分野での利用性が向上する。

ABSTRACT

The need for raw large raw corpora has dramatically increased in recent years with the introduction of transfer learning and semi-supervised learning methods to Natural Language Processing. And while there have been some recent attempts to manually curate the amount of data necessary to train large language models, the main way to obtain this data is still through automatic web crawling. In this paper we take the existing multilingual web corpus OSCAR and its pipeline Ungoliant that extracts and classifies data from Common Crawl at the line level, and propose a set of improvements and automatic annotations in order to produce a new document-oriented version of OSCAR that could prove more suitable to pre-train large generative language models as well as hopefully other applications in Natural Language Processing and Digital Humanities.

研究の動機と目的

• 既存の多言語ウェブコーパス（例：OSCAR）における行レベルの言語分類の限界、特に文書の断片化と読みにくさの問題を解決すること。
• ウェブクローリングおよび処理中に文書レベルの整合性を保つことで、下流の自然言語処理タスクにおけるデータ品質と利用可能性を向上させること。
• 文書長、成人向けコンテンツ、重複除去マーカーなどの自動アノテーションを通じて、ノイズを低減し、フィルタリング能力を強化すること。
• 大規模にクロールされたコーパスを、生成的言語モデルの学習や低リソース言語アプリケーションの支援に、より効果的に活用できるようにすること。
• ブロックリストベースのアノテーションの限界を分析し、特にLGBTQI+コンテンツに対してバイアスや過剰フィルタリングが生じるのを軽減すること。

提案手法

• 文書レベルでの言語分類を実現するよう、Ungoliantパイプラインを再設計し、文書境界を一貫して保つ。
• 連続する100文字以上の行のみを保持する行フィルタリングを実装し、文書構造と可読性を維持する。
• 文書長（短、中、長）のメタデータアノテーション、URLブロックリストを用いた成人向けコンテンツ分類、重複除去マーカーを追加。
• 文書および行レベルでの重複除去を適用し、特に英語などの高リソース言語における冗長性を低減。
• ブロックリストベースの成人向けコンテンツフィルタを導入し、潜在的に明示的なコンテンツをアノテート。フランス語コーパスのサンプルで検証。
• 硬直的なしきい値（例：5行以上）が文書分類およびデータ品質の認識に与える影響を評価。

実験結果

リサーチクエスチョン

• RQ1 行レベルから文書レベルへの言語分類の移行が、自然言語処理タスクにおけるコーパス品質と利用可能性にどのように影響するか？
• RQ2 長さや成人向けコンテンツフィルタリングなどの自動アノテーションが、大規模にクロールされたコーパスにおける利用可能な文書の発見性と品質に、どの程度向上効果をもたらすか？
• RQ3 硬直的なしきい値（例：最小行数）が文書分類およびデータ品質の認識に与える影響は何か？
• RQ4 ブロックリストベースの成人向けコンテンツアノテーションシステムは、非明示的またはLGBTQI+関連コンテンツを過剰にフィルタリングせずに、明示的コンテンツを効果的に同定できるか？
• RQ5 重複除去と文書レベル処理により、低リソース言語における言語的多様性を維持しつつ、冗長性を顕著に低減できるか？

主な発見

• 新しいOSCAR 22.01コーパスは、短い断片的な行をフィルタリングすることで文書の整合性を保ち、より一貫性があり人間が読みやすい文書を実現した。
• コーパスには12GBの多言語データセットが含まれており、英語の重複除去済みコンテンツと、行レベルの重複除去ツールが実装され、冗長性が低減された。
• フランス語コーパスにおいて、成人向けとラベル付けされた文書の約3.2%がLGBTQI+関連であったことから、ブロックリストベースのアノテーションに過剰フィルタリングや表現バイアスの可能性が示された。
• 100件のサンプルのうち21件で成人向けコンテンツ検出の誤検出が観察され、非明示的な教育コンテンツや過去に成人向けコンテンツに使用されたウェブサイトが含まれていた。
• 長さベースのアノテーションにより、チェコ語の約50%の文書が「長」とラベル付けされたことが判明し、中〜高リソース言語において品質上の問題や行長の不一致の可能性が示唆された。
• パイプラインにより、ドイツ語コーパスに30MBのアレマン語（Alemannic German）コンテンツが存在することが同定され、地域的バリエーションを別言語リソースとして統合または別扱いする機会が示された。