[論文レビュー] SciInstruct: a Self-Reflective Instruction Annotated Dataset for Training Scientific Language Models

Dan Zhang, Ziniu Hu+7 more|arXiv (Cornell University)|Jan 15, 2024

Topic Modeling被引用数 4

ひとこと要約

本稿では、科学的推論のための高品質で自己注意をもつ指示アノテーションデータセットであるSciInstructと、そのデータセットを活用して微調整された科学言語モデルのスイートであるSciGLMを紹介する。大規模言語モデル（LLM）を用いた自己注意フレームワークにより、推論手順を生成・訂正するプロセスを経て、数学、物理学、化学、形式的証明をカバーする多様なデータセットを構築した。このデータセットは、ベースの言語能力を損なわずに、科学的および数学的推論における顕著な性能向上を実現する。

ABSTRACT

Large Language Models (LLMs) have shown promise in assisting scientific discovery. However, such applications are currently limited by LLMs' deficiencies in understanding intricate scientific concepts, deriving symbolic equations, and solving advanced numerical calculations. To bridge these gaps, we introduce SciInstruct, a suite of scientific instructions for training scientific language models capable of college-level scientific reasoning. Central to our approach is a novel self-reflective instruction annotation framework to address the data scarcity challenge in the science domain. This framework leverages existing LLMs to generate step-by-step reasoning for unlabelled scientific questions, followed by a process of self-reflective critic-and-revise. Applying this framework, we curated a diverse and high-quality dataset encompassing physics, chemistry, math, and formal proofs. We analyze the curated SciInstruct from multiple interesting perspectives (e.g., domain, scale, source, question type, answer length, etc.). To verify the effectiveness of SciInstruct, we fine-tuned different language models with SciInstruct, i.e., ChatGLM3 (6B and 32B), Llama3-8B-Instruct, and Mistral-7B: MetaMath, enhancing their scientific and mathematical reasoning capabilities, without sacrificing the language understanding capabilities of the base model. We release all codes and SciInstruct at https://github.com/THUDM/SciGLM.

研究の動機と目的

• 科学的言語モデルのトレーニングに適した高品質で推論を重視した指示データの不足に対処すること。
• 数学的タスクにとどまらず、物理学、化学、形式的証明を含む、広範な科学的推論能力を向上させること。
• 自己注意と誤り訂正を組み合わせた自己学習による高品質なデータ生成を可能にする、スケーラブルでAI駆動のアノテーションフレームワークを構築すること。
• 多様で高品質な科学的指示データに基づく微調整が、複数のベンチマークで推論性能を顕著に向上させることを実証すること。
• SciInstruct、SciGLM、および自己注意フレームワークをオープンソースとして公開し、科学的AI分野における研究を促進すること。

提案手法

• LLMを用いた自己注意型の指示アノテーションフレームワークを採用し、推論手順を生成した後、誤った回答に基づいて自らの出力を検証・修正するプロセスを実施する。
• LLMを用いて正例と負例を生成し、ノイズや低品質な指示をフィルタリングするためのデータ分類器をトレーニングする。
• 数学、物理学、化学、およびLeanにおける形式的証明から収集したキュレート済みの科学的質問に、段階的な推論手順と検証済みの回答を組み合わせて、SciInstructを構築する。
• ChatGLM3シリーズのモデル（6B、12B、32B）をSciInstructで微調整し、SciGLMを構築することで、科学的推論能力を向上させつつ、ベースの言語理解能力を維持する。
• 段階的なデータ処理パイプラインを適用：初期のLLMによる生成、誤りに対する自己注意、回答の検証、および分類器を用いた高品質データへのフィルタリング。
• 既存のLLMを活用して、人為的アノテーションを最小限に抑えつつ、反復的な自己批判を経て推論チェーンを自動生成・改善する。

Figure 1: Average accuracy on CEval-Sci and SciEval benchmarks of different LLMs. Our SciGLM Models fine-tuned on ChatGLM3 are shown in bold.

実験結果

リサーチクエスチョン

• RQ1 LLMを用いた自己注意フレームワークは、人為的介入を最小限に抑えつつ、高品質な科学的指示データを生成できるか？
• RQ2 SciInstructのような多様で推論を重視したデータセットを用いた微調整により、LLMの科学的推論能力が複数の分野で顕著に向上するか？
• RQ3 このようなデータによる推論能力の強化は、一般言語理解能力の低下を伴わず、科学的ベンチマークでの性能向上をもたらすか？
• RQ4 合成的で自己アノテートされたデータが、科学的推論タスクにおいて人為アノテートデータセットと同等またはそれ以上の性能を達成できるか？
• RQ5 LLMと分類器を組み合わせた自己改善型データパイプラインは、科学的分野におけるノイズや誤った指示を効果的にフィルタリングできるか？

主な発見

• SciInstructで微調整されたSciGLMモデルは、CEval-SciおよびSciEvalベンチマークで最先端の性能を達成し、ベースのChatGLM3-6B-Baseや、パrameter数がはるかに多い大規模モデルを上回る。
• 自己注意型アノテーションフレームワークは、人為的入力を最小限に抑えつつ、高品質な推論手順を効果的に生成し、データ品質とモデル性能の両方を顕著に向上させた。
• SciGLMは、科学的推論能力を顕著に向上させつつも、強力なベースの言語理解能力を維持しており、一般能力と専門的能力の間のトレードオフがないことを示している。
• 6B、12B、32Bの全サイズで一貫した向上が見られ、トレーニングアプローチのスケーラビリティと一般化能力を裏付けている。
• パイプラインで使用されたデータ分類器は、指示の品質を向上させた。今後のデータの自己ブートストラップにより、さらにモデル性能の向上が期待できる。
• SciInstruct、SciGLM、および自己注意フレームワークの公開により、科学的言語モデリングと推論分野における広範な研究が促進される。

Figure 2: The pipeline of constructing SciInstruct . On the far left is a mix of training datasets. The purpose of the annotation is to supplement chain-of-thought processes with reflective generation. The goal of the filter is to train a data classifier and generate high-quality instructions.