[論文レビュー] Quokka: An Open-source Large Language Model ChatBot for Material Science

Xianjun Yang, Stephen D. Wilson+1 more|arXiv (Cornell University)|Jan 2, 2024

AI in Service Interactions被引用数 11

ひとこと要約

Quokkaは、コミュニティ利用のためにチャット対応のバリアントを含む、1 million材料科学論文で事前学習したLLaMA-2ベースの2モデル（7Bと13B）をオープンソース化します。

ABSTRACT

This paper presents the development of a specialized chatbot for materials science, leveraging the Llama-2 language model, and continuing pre-training on the expansive research articles in the materials science domain from the S2ORC dataset. The methodology involves an initial pretraining phase on over one million domain-specific papers, followed by an instruction-tuning process to refine the chatbot's capabilities. The chatbot is designed to assist researchers, educators, and students by providing instant, context-aware responses to queries in the field of materials science. We make the four trained checkpoints (7B, 13B, with or without chat ability) freely available to the research community at https://github.com/Xianjun-Yang/Quokka.

研究の動機と目的

• 研究者、教育者、学生を支援するために材料科学のオープンソースのドメイン特化型LLMの創出を促進する。
• 大規模な材料科学コーパス（S2ORC）を用いた継続事前学習を実演し、ドメイン知識を注入する。
• 一般的なプロンプトと材料科学特有のプロンプトにモデルを合わせるための指示チューニングを紹介する。
• 材料テキスト処理の研究と下流用途を加速するために、自由に入手できるチェックポイントを提供する。

提案手法

• LLaMA-2ベースモデル（7Bおよび13B）から開始し、S2ORCの材料科学論文 over 1 million で継続事前学習を行う。
• ドメイン固有の事前学習時の壊滅的忘却を緩和するために、一般的なRedPajamaデータを10%混在させる。
• bf16、flash-attention、およびDeepSpeed FSDPを8 A100 GPUで事前学習に使用；各モデルで1エポック訓練。
• 次に、LIMAおよびHoneyBeeデータセットから取得した3344個のユニークな指示と、著者追加のプロンプトを用いて指示チューニングを実施する。
• 1024 max tokens、学習率1e-4、コサインスケジューラを使用し、4 A100 GPUで15エポックの微調整を行う。

実験結果

リサーチクエスチョン

• RQ1 大規模な材料科学コーパスで継続的な事前学習を行うことで、LLaMA-2モデルのドメイン特化理解を改善できるか？
• RQ2 一般的および材料科学の指示の両方を用いた指示チューニングは、専門家の問いへの整合性をより高めるか？
• RQ3 オープンソースのQuokkaチェックポイントは、下流の材料科学NLPタスクやチャット対話の基盤として効果的か？
• RQ4 材料科学におけるドメイン適応LLMのリソース要件と訓練ダイナミクスは何か？

主な発見

• Quokka-7BおよびQuokka-13Bは事前学習損失の低下を示し、13Bモデルが最終的なパープレキシティをより低く達成する。
• 指示チューニングは15エポック後に損失を0に向けて低減する。
• Quokka-7B-ChatおよびQuokka-13B-Chatは、材料科学の質問についての対話を可能にし、敏感なトピックには安全上の拒否を行う。
• 著者は研究コミュニティに4つのオープンソースのチェックポイントを公開する。
• 訓練時間は、指定されたハードウェア上でモデルごとに数十時間程度（例：事前学習は8 A100 GPUs、指示チューニングは4 A100 GPUs）。