[論文レビュー] Building a Large Japanese Web Corpus for Large Language Models

Naoaki Okazaki, Kakeru Hattori+8 more|arXiv (Cornell University)|Apr 27, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

本論文は、2020年から2023年までの21回のCommon Crawlスナップショット（2020–2023）から抽出・精錬した、3121億文字（1億7300万ページ）の大型で高品質な日本語ウェブコーパスを提示する。言語固有のクリーニングおよび重複除去技術を適用することで、複数のLLMにおいて日本語ベンチマーク性能が6.6–8.1ポイント一貫して向上し、Llama 2 13BおよびMixtral 8x7B Instructにおいて最先端の結果を達成した。

ABSTRACT

Open Japanese large language models (LLMs) have been trained on the Japanese portions of corpora such as CC-100, mC4, and OSCAR. However, these corpora were not created for the quality of Japanese texts. This study builds a large Japanese web corpus by extracting and refining text from the Common Crawl archive (21 snapshots of approximately 63.4 billion pages crawled between 2020 and 2023). This corpus consists of approximately 312.1 billion characters (approximately 173 million pages), which is the largest of all available training corpora for Japanese LLMs, surpassing CC-100 (approximately 25.8 billion characters), mC4 (approximately 239.7 billion characters) and OSCAR 23.10 (approximately 74 billion characters). To confirm the quality of the corpus, we performed continual pre-training on Llama 2 7B, 13B, 70B, Mistral 7B v0.1, and Mixtral 8x7B Instruct as base LLMs and gained consistent (6.6-8.1 points) improvements on Japanese benchmark datasets. We also demonstrate that the improvement on Llama 2 13B brought from the presented corpus was the largest among those from other existing corpora.

研究の動機と目的

• オープンソースLLMのための高品質な日本語固有の学習データの不足に取り組む。これらはしばしば日本語の品質が最適でない多言語コーパスから派生している。
• 生のCommon Crawlデータから大規模かつ高忠実度の日本語ウェブコーパスを構築し、日本語LLMの効果的な事前学習を支援する。
• 多様なベースLLMにおける継続的事前学習を通じて、コーパスの有効性を実証し、日本語ベンチマークにおける一貫した性能向上を測定する。
• 再現可能で公開されたコーパスおよび微調整済みモデルを整備し、日本語NLPおよび責任あるLLM開発のための今後の研究を支援する。

提案手法

• 2020年から2023年までの21回のCommon Crawlスナップショットから、トラフィルチャチャを用いて生テキストを抽出した。合計で約634億ページに相当する。
• 5-gramレベルの文字列で、Jaccard係数の閾値を約0.9に設定したMinHashベースの重複除去を実施し、類似したコンテンツを削除した。
• 日本語に特化した品質フィルタを実装し、過剰な繰り返し、絵文字の密度、機能語の不足など、低品質なコンテンツを検出・削除した。
• 独自開発の日本語テキスト品質推定器を用いて、低確率または不正な形式のテキストを除外し、コーパス全体の整合性と有用性を向上させた。
• 精錬済みコーパスを用いて、5つのベースLLM（Llama 2 7B, 13B, 70B; Mistral 7B v0.1; Mixtral 8x7B Instruct）に対して継続的事前学習を実施した。
• 標準的な日本語ベンチマークデータセットを用いて性能を評価し、下流NLPタスクにおける向上を定量的に測定した。

Figure 1: The pipeline for building a large Japanese web corpus.

実験結果

リサーチクエスチョン

• RQ1 生のCommon Crawlデータから、言語固有のフィルタリングおよび重複除去を用いて、大規模かつ高品質な日本語ウェブコーパスを効果的に構築できるか？
• RQ2 提案されたコーパスを用いた継続的事前学習は、多様なLLMアーキテクチャにおいて、日本語NLPベンチマークの性能をどの程度向上させるか？
• RQ3 mC4、CC-100、OSCARといった既存のコーパスと比較して、提案されたコーパスは日本語タスクにおいてどの程度の性能向上をもたらすか？
• RQ4 精錬済み日本語コーパスの統合は、日本語–英語翻訳などの多言語タスクの性能を低下させるか？
• RQ5 このコーパスを用いてLLMをスクラッチから訓練可能か？また、モデルの汎化性能および安全性にどのような影響を及えるか？

主な発見

• 提案されたコーパスは3121億文字（1億7300万ページ）を含み、mC4（2397億）、CC-100（258億）、OSCAR（740億）を上回る、日本語LLM用に利用可能な最大規模の学習コーパスである。
• コーパスを用いた継続的事前学習により、複数の日本語ベンチマークデータセットで6.6–8.1ポイントの一貫した性能向上が得られた。Llama 2 13Bは、比較対象のすべてのコーパスの中で最大の向上を示した。
• 7B、13B、8x7B、70Bの全評価モデルサイズで、最先端の結果を達成した。これは、異なるモデルスケールにわたり、コーパスの有効性が確認されたことを示している。
• Llama 2 13Bにおけるこのコーパスからの向上は、他の既存コーパスよりも顕著に大きく、日本語NLPに優れた品質と関連性を有していることを示している。
• コーパスは英語–日本語翻訳の性能を向上させたが、逆方向（日本語–英語）ではわずかに性能が低下した。これは、データキュレーションのバランスが重要であることを示唆している。
• すべての微調整済みモデルおよびベンチマークデータセットはHugging Faceに公開されており、実験結果の完全な再現性が確保されている。