[論文レビュー] Galactica: A Large Language Model for Science

Ross Taylor, Marcin Kardas+7 more|arXiv (Cornell University)|Nov 16, 2022

Mathematics, Computing, and Information Processing被引用数 257

ひとこと要約

Galactica は、科学的知識を保存・統合・推論するよう設計された大規模で厳選された科学言語モデルで、いくつかの科学系タスクで最先端の成果を達成し、科学データとのマルチモーダルな対話を可能にします。

ABSTRACT

Information overload is a major obstacle to scientific progress. The explosive growth in scientific literature and data has made it ever harder to discover useful insights in a large mass of information. Today scientific knowledge is accessed through search engines, but they are unable to organize scientific knowledge alone. In this paper we introduce Galactica: a large language model that can store, combine and reason about scientific knowledge. We train on a large scientific corpus of papers, reference material, knowledge bases and many other sources. We outperform existing models on a range of scientific tasks. On technical knowledge probes such as LaTeX equations, Galactica outperforms the latest GPT-3 by 68.2% versus 49.0%. Galactica also performs well on reasoning, outperforming Chinchilla on mathematical MMLU by 41.3% to 35.7%, and PaLM 540B on MATH with a score of 20.4% versus 8.8%. It also sets a new state-of-the-art on downstream tasks such as PubMedQA and MedMCQA dev of 77.6% and 52.9%. And despite not being trained on a general corpus, Galactica outperforms BLOOM and OPT-175B on BIG-bench. We believe these results demonstrate the potential for language models as a new interface for science. We open source the model for the benefit of the scientific community.

研究の動機と目的

• 科学における情報過多を動機づけ、対処するため、科学的知識を保存・統合・推論できるLLMを作成する。
• LaTeX、SMILES、アミノ酸、DNAといった多様なモダリティと対話するための厳選された標準的な科学コーパスと特化したインターフェースを開発する。
• 知識集約的な科学タスクと推論ベンチマークで最先端の性能を示す。
• 厳選コーパス内の繰り返しトークンが上流・下流の性能向上に寄与するかを検討する。

提案手法

• デコーダーのみのトランスフォーマーを訓練する（GeLU活性化、2048のコンテキスト窓、バイアスなし、学習済み位置埋め込み）106Bトークンの厳選科学コーパス上で。
• 引用、推論作業メモリ、SMILES、アミノ酸、DNA配列のための特殊トークンを含む50kトークンのBPE語彙を使用する。
• 一般データとともにプロンプトの混合で事前訓練を行い、タスク特有の信号を高める（例：化学的性質、QA、要約、推論など）。
• 知識プローブ（LaTeX方程式、ドメインプローブ）および下流タスク（PubMedQA、MedMCQA、MMLU、MATH）を用いて、知識・推論・マルチモーダル能力をベンチマークする。

実験結果

リサーチクエスチョン

• RQ1 厳選された標準的な科学コーパスは、デコーダーのみのLLMが科学的知識を効果的に保存・推論するのを可能にするか。
• RQ2 厳選データセット内の繰り返しトークンは、上流の訓練損失と下流の科学的性能にどのように影響するか。
• RQ3 事前訓練中のタスク文脈プロンプトは、一般性を損なうことなく科学的および非科学的タスクの性能を向上させるか。
• RQ4 1つのモデル内でLaTeX、SMILES、アミノ酸配列、DNAなどのモダリティをどの程度学習・活用できるか。
• RQ5 一般的なLLMと比較して、知識集約的なベンチマークや特化した下流タスクにおけるGalacticaの性能はどうか。

主な発見

• 120Bモデルでの繰り返しトークンは、4エポックまで検証損失と下流の性能を改善し続け、最大のモデルは最初の過学習をエポック5付近でのみ示す。
• LaTeX方程式の知識はスケールとともに向上し、120BはLaTeX方程式プローブで68.2%を達成、GPT-3の49.0%に対して。
• GalacticaはPubMedQA（77.6%）とMedMCQA dev（52.9%）で最先端を達成。
• 推論ベンチマークでは、MMLUでChinchillaを上回り（41.3% vs 35.7%）、MATHではPaLM 540Bを上回る（20.4% vs 8.8%）。
• Galacticaは一般コーパスで訓練されていないにもかかわらずBIG-benchでBLOOMとOPT-175Bを上回り、SMILESとアミノ酸配列でマルチモーダル能力を示す。