[論文レビュー] HoneyBee: Progressive Instruction Finetuning of Large Language Models for Materials Science

Yu Qin Song, Santiago Miret+2 more|arXiv (Cornell University)|Oct 12, 2023

Machine Learning in Materials Science被引用数 5

ひとこと要約

本稿では、材料科学に特化した10億パラメータの言語モデルであるHoneyBeeを紹介する。HoneyBeeは、ドメイン固有の指示データを生成・検証する2段階の段階的フレームワークであるMatSci-Instructを用いて訓練されたもので、信頼性を重視した反復的微調整フレームワークにより、高品質なドメイン特化型の指示データを生成する。HoneyBeeは、材料科学NLPベンチマークにおいて一般モデルおよびBERTベースのモデルを上回り、材料科学のテキストで事前学習を行わずとも、反復的微調整段階を経るごとに性能が向上する。

ABSTRACT

We propose an instruction-based process for trustworthy data curation in materials science (MatSci-Instruct), which we then apply to finetune a LLaMa-based language model targeted for materials science (HoneyBee). MatSci-Instruct helps alleviate the scarcity of relevant, high-quality materials science textual data available in the open literature, and HoneyBee is the first billion-parameter language model specialized to materials science. In MatSci-Instruct we improve the trustworthiness of generated data by prompting multiple commercially available large language models for generation with an Instructor module (e.g. Chat-GPT) and verification from an independent Verifier module (e.g. Claude). Using MatSci-Instruct, we construct a dataset of multiple tasks and measure the quality of our dataset along multiple dimensions, including accuracy against known facts, relevance to materials science, as well as completeness and reasonableness of the data. Moreover, we iteratively generate more targeted instructions and instruction-data in a finetuning-evaluation-feedback loop leading to progressively better performance for our finetuned HoneyBee models. Our evaluation on the MatSci-NLP benchmark shows HoneyBee's outperformance of existing language models on materials science tasks and iterative improvement in successive stages of instruction-data refinement. We study the quality of HoneyBee's language modeling through automatic evaluation and analyze case studies to further understand the model's capabilities and limitations. Our code and relevant datasets are publicly available at \url{https://github.com/BangLab-UdeM-Mila/NLP4MatSci-HoneyBee}.

研究の動機と目的

• 材料科学分野における高品質でドメイン特化型のテキストデータの不足を解決するため。
• 大規模言語モデルを用いて、材料科学に特化した信頼性がありスケーラブルな指示データ生成手法を開発するため。
• 材料科学NLPタスクにおいて、既存の一般モデルおよびドメイン特化型モデルを上回る性能を示す専用の高性能言語モデル（HoneyBee）を構築するため。
• 検証とフィードバックを用いた指示データの反復的改善が、段階的なモデル性能の向上をもたらすことを実証するため。

提案手法

• MatSci-Instructは2段階のプロセスを採用する：まず、インstructモデル（例：ChatGPT）が材料科学分野向けのドメイン特化型の指示データを生成し、次に、検証モデル（例：Claude）が生成されたデータの正確性、関連性、妥当性を検証する。
• 低品質なデータは評価者からのフィードバックに基づき改善され、フィードバックループにより複数の反復段階を経て、指示データの品質が段階的に向上する。
• HoneyBeeは、材料科学のコーパスで事前学習を行わず、洗練されたMatSci-Instructデータセットを用いてLLaMAアーキテクチャで微調整される。
• モデルの性能はMatSci-NLPベンチマークを用いて評価され、自動指標と事例研究を通じて事実の正確性、完全性、推論能力が評価される。
• 商用利用可能なLLMをインstructモデル、検証モデル、評価者として活用することで、データキュレーションにおけるスケーラビリティと信頼性を確保する。
• 指示データの反復的改善段階が適用され、各段階で下流の材料科学タスクにおけるモデル性能が向上する。

Figure 1: Example instruction generated by the MatSci-Instruct process used to train the HoneyBee language model that contains general language knowledge and is specialized in materials science. The relevant text to correctly answer the instruction is highlighted. MatSci-Instruct follows a structure

実験結果

リサーチクエスチョン

• RQ1 材料科学のような科学的分野において、信頼性がありスケーラブルな高品質な指示データ生成フレームワークを開発できるか？
• RQ2 材料科学に特化した大規模言語モデルが、一般モデルおよびBERTベースのモデルを材料科学固有のNLPタスクで上回れるか？
• RQ3 検証とフィードバックによる指示データの段階的改善が、モデル性能の測定可能な向上をもたらすか？
• RQ4 材料科学のテキストで事前学習を行わず、洗練された指示データのみで微調整されたモデルが、強力なゼロショット性能を達成できる程度はどの程度か？

主な発見

• HoneyBee-7b-Stage1は、MatSci-Instructデータの1ラウンド分での微調整のみで、LLaMA-7bおよびAlpaca-7bをMatSci-NLPベンチマークで上回り、優れたゼロショット性能を示した。
• HoneyBee-13bおよびHoneyBee-7bは、MatSci-Instructの反復的改善段階を経るごとに一貫した性能向上を示し、フィードバックループの有効性を確認した。
• HoneyBee-13bは事例研究でChatGPTと同等の性能を示し、段階的微調整による高品質な推論力と事実の整合性を確認した。
• HoneyBeeは、分類および生成タスクを含む複数のMatSci-NLPタスクで、最先端のBERTベースのモデル（MatBERT、MatSciBERT）および一般LLM（LLaMA、Alpaca）を上回った。
• 材料科学のテキストで事前学習を行わずとも、優れた結果を達成した。これは、MatSci-Instructのデータキュレーションパイプラインの有効性を示している。
• MatSci-Instructフレームワークにより、高品質でドメイン特化型の指示データセットが作成可能となり、材料科学に特化した10億パラメータのLLMの開発を支援した。

Figure 2: MatSci-Instruct and HoneyBee training workflow. We start with a series of predetermined structured instruction generation prompts that contain both topic and task descriptions. The Instructor (Chat-GPT) then generates a series of instructions that are then passed through the Verfifier (Cla