[論文レビュー] A Warm Start and a Clean Crawled Corpus -- A Recipe for Good Language Models

Vésteinn Snæbjarnarson, Haukur Barri Símonarson+5 more|arXiv (Cornell University)|Jan 14, 2022

Natural Language Processing Techniques被引用数 10

ひとこと要約

この論文では、クリーニング済みのクロール単語語彙（IC3）とキュレートされたアイスランド語ギガワード語彙を用いて、アイスランド語向けに訓練された最先端の言語モデル、IceBERTを提示する。多言語モデルからのウォームスターターを適用し、高品質でドメインに特化したウェブデータを活用することで、品詞タギング、NER、文法的誤り検出、構文解析の各タスクでSOTA性能を達成した。これは、クリーニング済みの大規模なクロールデータが、低リソース・中リソース言語においてキュレート語彙と同等の性能を発揮できることを示している。

ABSTRACT

We train several language models for Icelandic, including IceBERT, that achieve state-of-the-art performance in a variety of downstream tasks, including part-of-speech tagging, named entity recognition, grammatical error detection and constituency parsing. To train the models we introduce a new corpus of Icelandic text, the Icelandic Common Crawl Corpus (IC3), a collection of high quality texts found online by targeting the Icelandic top-level-domain (TLD). Several other public data sources are also collected for a total of 16GB of Icelandic text. To enhance the evaluation of model performance and to raise the bar in baselines for Icelandic, we translate and adapt the WinoGrande dataset for co-reference resolution. Through these efforts we demonstrate that a properly cleaned crawled corpus is sufficient to achieve state-of-the-art results in NLP applications for low to medium resource languages, by comparison with models trained on a curated corpus. We further show that initializing models using existing multilingual models can lead to state-of-the-art results for some downstream tasks.

研究の動機と目的

• 限定的な言語リソースを用いて、アイスランド語自然言語処理を向上させること。
• クリーニング済みのウェブクロール語彙が、キュレートされた単語語彙と同等または上回る性能を発揮できるかどうかを評価すること。
• 下流タスクにおけるアイスランド語NLPタスクに、多言語事前学習重み（ウォームスターター）を初期化として用いる有効性を調査すること。
• 低リソース言語向けに、ウェブから高品質な言語データを抽出・クリーニングする再現可能な手法を確立すること。
• 手作業で翻訳・適応させたアイスランド語版WinoGrande共通認識推論データセットを構築することで、評価基準を引き上げること。

提案手法

• アイスランド語のトップレベルドメイン .is をターゲットにし、言語的関連性をフィルタリングすることで、16GBのアイスランド語テキストから成る高品質なデータセット、アイスランド語コモンクロール語彙（IC3）を構築した。
• 追加の公開アイスランド語テキストソースを収集・統合し、27億トークンに達する包括的な単語語彙トレーニング語彙を構築した。
• XLM-R-base などの多言語モデルをウォームスターター戦略で微調整し、IC3語彙上で継続的プレトレーニングすることで、アイスランド語に適応させた。
• ウェブクロールテキストからボイラープレート、重複、低品質コンテンツを除去するための新規データクリーニングパイプラインを実装した。
• クリーニング済みの単語語彙データ上で標準的なBERTスタイルのプレトレーニングを用いて、複数のTransformerベースの言語モデル（IceBERTを含む）を訓練した。
• 共通認識推論の評価を可能にするために、手作業による翻訳と言語的適応を通じてWinoGrandeデータセットをアイスランド語に変換した。

実験結果

リサーチクエスチョン

• RQ1 大規模でクリーニング済みのウェブクロール語彙は、キュレート語彙で訓練されたモデルと同等の性能を、アイスランド語NLPタスクで達成できるか？
• RQ2 多言語事前学習モデル（ウォームスターター）で初期化された言語モデルは、アイスランド語の下流タスクで性能向上をもたらすか？
• RQ3 低〜中リソース言語設定において、高品質でドメインに特化したウェブクロール（IC3）と従来のキュレート語彙とを比較した場合、どちらが効果的か？
• RQ4 単一言語（アイスランド語）で訓練された言語モデルが、アイスランド語固有のタスクで多言語モデルを上回る可能性はどの程度か？
• RQ5 手作業で適応させた共通認識推論データセットは、アイスランド語NLPの評価の厳密さとベースライン性能を向上させられるか？

主な発見

• クリーニング済みのIC3語彙で訓練されたIceBERTは、品詞タギング、NER、構文解析を含む複数の下流タスクでSOTA性能を達成した。
• クリーニング済みのクロール語彙（IC3）で訓練されたモデルは、キュレートされたアイスランド語ギガワード語彙で訓練されたモデルと同等の性能を発揮した。これは、適切にクリーニングされたウェブクロールデータが、有効であることを示している。
• ウォームスターター戦略（XLM-R-baseをアイスランド語データで微調整）により、名前付きエンティティ認識および文法的誤り検出タスクでSOTA結果が得られた。
• 手作業で翻訳・適応させたアイスランド語版WinoGrandeは、共通認識推論のためのより強固で言語的に関連性の高い評価ベンチマークを提供した。
• ターゲットされた .is ドメインクロールを用いて抽出されたIC3語彙は、高性能なモデルの訓練に有効であった。これは、他の低リソース言語に対してもスケーラブルな手法であることを示唆している。
• 本研究は、アイスランド語のような言語において、クリーニング済みの大規模なクロール語彙と多言語モデルからのウォームスターターを組み合わせることで、膨大なキュレートデータが不要でもSOTA結果が得られることを確認した。