[論文レビュー] OpenWebMath: An Open Dataset of High-Quality Mathematical Web Text

Keiran Paster, Marco Dos Santos+2 more|arXiv (Cornell University)|Oct 10, 2023

Mathematics, Computing, and Information Processing被引用数 4

ひとこと要約

OpenWebMath は、Common Crawl から抽出した高品質な数学的ウェブテキストを保持したオープンで 14.7B テンキーのデータセットであり、LaTeX 表記を維持し、品質と関連性をフィルタリングしている。このデータで微調整された 1.4B パラメータのモデルは、20 倍の一般ドメイントークンで微調整されたモデルを上回り、ドメイン特化型の事前学習が言語モデルにおける数学的推論を顕著に向上させることを示している。

ABSTRACT

There is growing evidence that pretraining on high quality, carefully thought-out tokens such as code or mathematics plays an important role in improving the reasoning abilities of large language models. For example, Minerva, a PaLM model finetuned on billions of tokens of mathematical documents from arXiv and the web, reported dramatically improved performance on problems that require quantitative reasoning. However, because all known open source web datasets employ preprocessing that does not faithfully preserve mathematical notation, the benefits of large scale training on quantitive web documents are unavailable to the research community. We introduce OpenWebMath, an open dataset inspired by these works containing 14.7B tokens of mathematical webpages from Common Crawl. We describe in detail our method for extracting text and LaTeX content and removing boilerplate from HTML documents, as well as our methods for quality filtering and deduplication. Additionally, we run small-scale experiments by training 1.4B parameter language models on OpenWebMath, showing that models trained on 14.7B tokens of our dataset surpass the performance of models trained on over 20x the amount of general language data. We hope that our dataset, openly released on the Hugging Face Hub, will help spur advances in the reasoning abilities of large language models.

研究の動機と目的

• 数学的表記を保持する公開可能で高品質なウェブベースの数学的テキストデータセットが不足している問題に対処すること。
• 大規模かつキュレートされたデータセットへのオープンアクセスを提供することで、数学的推論、記憶、一般化に関する研究を促進すること。
• ドメイン特化型の高品質な数学的コンテンツで事前学習することで、一般ドメインの事前学習よりも、推論パフォーマンスが顕著に向上することを実証すること。
• スケールで高品質な数学的ウェブコンテンツを抽出・フィルタリング・重複除去する再現可能なパイプラインをリリースすること。

提案手法

• HTML ボイラープレートを除去し、LaTeX コンテンツを保持するパイプラインを用いて、Common Crawl から 14.7B テンキーを抽出した。
• LLM とルールベースのヒューリスティクスを用いた段階的フィルタリングを適用し、高品質で英語の数学的コンテンツのみを保持した。
• クラスタリングと LLM を用いた分類アプローチを用いて、ドキュメントの種別と分野ごとの分布を分析した。
• 類似度ベースの埋め込み技術を用いて重複除去を実施し、類似したコンテンツを排除した。
• OpenWebMath で 1.4B パラメータの言語モデルを学習し、The Pile や ProofPile で学習したモデルと性能を比較した。
• MATH、GSM8k、LILA-multiarith ベンチマークでモデルの下流推論パフォーマンスを評価した。

実験結果

リサーチクエスチョン

• RQ1 LaTeX 表記を保持した大規模でオープンなウェブベースの数学的テキストデータセットは、大規模言語モデルの推論能力を向上させることができるか？
• RQ2 OpenWebMath で事前学習したモデルは、一般ドメインデータの 20 倍のトークンで学習したモデルと比較して、数学的推論性能で優れているか？
• RQ3 OpenWebMath を他の数学的データセットと組み合わせた場合、モデルのパフォーマンスにどのような影響を与えるか？
• RQ4 事前学習データの品質とドメイン特化性が、モデルの一般化能力および記憶能力に与える影響はどの程度か？
• RQ5 提示されたパイプラインは、オープンウェブから高品質な数学的コンテンツを抽出・フィルタリングするのにどの程度効果的か？

主な発見

• OpenWebMath の 14.7B テンキーで学習したモデルは、The Pile の 300B テンキーで学習した Pythia 1.4B を MATH-Algebra-Easy および GSM8k ベンチマークで上回った。
• OpenWebMath 唯一で学習したモデルは、一般ドメインデータの 20 倍を学習したモデルよりも MATH および GSM8k でより低い perplexity を達成した。
• OpenWebMath と ProofPile を 50/50 で混合したモデルが、全ベンチマークで最良の全体的パフォーマンスを示した。
• データセットには高品質な数学的コンテンツが 14.7B テンキー含まれており、そのうち 88% のドキュメントが数学、物理学、コンピュータサイエンス、または関連技術分野に属していた。
• フォーラム投稿（例：Math StackExchange）と教育コンテンツが最も大きなカテゴリを占めており、12% のドキュメントはコアな STEM 分野に明確に分類できなかった。
• パイプラインは LaTeX 表記を効果的に保持し、非数学的ボイラープレートの 90% を除去した。その結果、事前学習に適したクリアで高精度なデータセットが得られた。