[論文レビュー] The MiniPile Challenge for Data-Efficient Language Models

Jean Kaddour|arXiv (Cornell University)|Apr 17, 2023

Topic Modeling被引用数 5

ひとこと要約

この論文は、学術的予算でのデータ効率の良い言語モデル事前学習を可能にするために、100万件のドキュメントを含む6GBの、手作業で選別されたThe Pileのサブセット、MiniPileを紹介する。3段階のプロセス（E5-Largeを用いた埋め込み推論、k-meansクラスタリング、低品質クラスタの人的なガイド付きフィルタリング）を経て、BERTとT5モデルの事前学習において、それぞれGLUEおよびSNIベンチマークで、2.6倍から745倍も多くのデータで学習されたモデルと比較して、それぞれ1.9%および2.5%の性能低下に抑えられた。

ABSTRACT

The ever-growing diversity of pre-training text corpora has equipped language models with generalization capabilities across various downstream tasks. However, such diverse datasets are often too large for academic budgets; hence, most research on Transformer architectures, training procedures, optimizers, etc. gets conducted on smaller, homogeneous datasets. To this end, we present The MiniPile Challenge, where one pre-trains a language model on a diverse text corpus containing at most 1M documents. MiniPile is a 6GB subset of the deduplicated 825GB The Pile corpus. To curate MiniPile, we perform a simple, three-step data filtering process: we (1) infer embeddings for all documents of the Pile, (2) cluster the embedding space using $k$-means, and (3) filter out low-quality clusters. To verify MiniPile's suitability for language model pre-training, we use it to pre-train a BERT and T5 model, yielding a performance drop of only $1.9\%$/$2.5\%$ on the GLUE and SNI benchmarks compared to the original pre-trained checkpoints trained on $2.6$x/$745$x the amount of data. MiniPile is available at https://huggingface.co/datasets/JeanKaddour/minipile.

研究の動機と目的

• 限られた計算リソースを持つ研究者が多様で高品質なコーパス上でモデルを学習できるようにすることで、データ効率の良い事前学習におけるギャップを埋める。
• モデルの汎化性を制限する、WikiText103 や enwik8 のような小規模で均質なデータセットへの依存を減らす。
• 多様性を保ちつつ低品質および有害なコンテンツをフィルタリングする、スケーラブルで手作業で選別されたThe Pileの代替策を提供する。
• 100万件のドキュメントを含むサブセットが、大規模な事前学習と比較して最小限の精度低下で強力な下流性能を達成できることを示す。
• データ効率の良い学習手法を評価するための再現可能で公開可能なベンチマークデータセットを提供する。

提案手法

• The Pileの重複除去済み825GBの全ドキュメントに対して、E5-Large文書埋め込みモデルを用いて密度のある埋め込みを抽出する。
• 正規化された埋め込みに対して、コサイン距離を用いたバッチ処理k-meansクラスタリングを実行し、k=220クラスタ（Pileの各サブデータセットあたり10個）とする。
• ドキュメントがクラスターセンタに近いかどうかを評価し、代表的な例（最も近い5件、最も遠い5件）を人間のアノテーターが評価することでクラスタをフィルタリングする。
• 類似コピー、ポルノ、ナビゲーションバーなど、コンテンツの観点から低品質と判断されたクラスタを除外する。
• フィルタリング済みのMiniPileサブセット上でBERT-BaseおよびT5-Baseモデルを事前学習し、下流性能を評価する。
• GLUEおよびSNIベンチマークにおけるファインチューニング済みモデルの性能を、はるかに大きなコーパスで事前学習されたオリジナルモデルと比較する。

Figure 1: MiniPile and Other Pre-Training Datasets.

実験結果

リサーチクエスチョン

• RQ1 The Pileの100万件・6GBのサブセットは、はるかに大きなデータセットで事前学習されたモデルと比較して、競争力のある下流性能を達成できるか？
• RQ2 ドキュメント埋め込みのクラスタリングベースのフィルタリングは、低品質および有害なコンテンツを効果的に除去しながら、情報豊富なデータを保持できるか？
• RQ3 MiniPileは、複数の自然言語処理タスクにおける汎化性を実現するため、The Pileの多様性をどの程度維持しているか？
• RQ4 WikiText103 のような小規模で均質なデータセットで事前学習するのと比較して、MiniPileで事前学習した場合の下流性能はどの程度か？
• RQ5 クラスタレベルの表現に対する人間のフィードバックによるフィルタリングステップは、全コーパスの検査を必要とせずに、高品質でスケーラブルなデータセットを生成できるか？

主な発見

• MiniPileでBERT-Baseを事前学習した場合、16GBのデータで事前学習されたオリジナルのBERTモデルと比較して、GLUEベンチマークで1.9%の性能低下にとどまった。
• MiniPileでT5-Baseを事前学習した場合、745倍も多くのデータで事前学習されたオリジナルのT5モデルと比較して、SNIベンチマークで2.5%の性能低下にとどまった。
• 6GBで100万件のドキュメントを含むMiniPileデータセットは、十分な多様性と情報含量を維持しており、強力な下流一般化を可能にしている。
• センタに近い距離と代表的な例に基づいた人的なガイド付きクラスタフィルタリングにより、類似コピー、明確な有害コンテンツなど、低品質なコンテンツが効果的に削除された。
• クラスタ内でのランダムサブサンプリングは、センタに最も近いドキュメントのみを選択する方法よりも優れた性能を示した。これは、外れ値の削除だけでは最適な事前学習に十分でないことを示している。
• MiniPileデータセットは、huggingface.co/datasets/jeankaddour/minipile で公開されており、データ効率の良いNLP分野における再現可能な研究を可能にしている。