[논문 리뷰] HoneyBee: Progressive Instruction Finetuning of Large Language Models for Materials Science

Yu Qin Song, Santiago Miret외 2명|arXiv (Cornell University)|2023. 10. 12.

Machine Learning in Materials Science인용 수 5

한 줄 요약

이 논문은 재료 과학 전용으로 설계된 빌리언 파라미터 언어 모델인 HoneyBee를 소개한다. HoneyBee는 MatSci-Instruct라는 점진적이고 이원적 프레임워크를 통해 훈련되었으며, 이 프레임워크는 지도 모델이 고품질의 도메인 전용 지시 데이터를 생성하고, 검증 모델이 이를 검증하는 방식이다. HoneyBee는 재료 과학 NLP 벤치마크에서 일반 모델과 BERT 기반 모델을 모두 능가하며, 재료 과학 텍스트로의 미리 훈련 없이도 반복적인 개선 단계를 거치면서 성능이 향상된다.

ABSTRACT

We propose an instruction-based process for trustworthy data curation in materials science (MatSci-Instruct), which we then apply to finetune a LLaMa-based language model targeted for materials science (HoneyBee). MatSci-Instruct helps alleviate the scarcity of relevant, high-quality materials science textual data available in the open literature, and HoneyBee is the first billion-parameter language model specialized to materials science. In MatSci-Instruct we improve the trustworthiness of generated data by prompting multiple commercially available large language models for generation with an Instructor module (e.g. Chat-GPT) and verification from an independent Verifier module (e.g. Claude). Using MatSci-Instruct, we construct a dataset of multiple tasks and measure the quality of our dataset along multiple dimensions, including accuracy against known facts, relevance to materials science, as well as completeness and reasonableness of the data. Moreover, we iteratively generate more targeted instructions and instruction-data in a finetuning-evaluation-feedback loop leading to progressively better performance for our finetuned HoneyBee models. Our evaluation on the MatSci-NLP benchmark shows HoneyBee's outperformance of existing language models on materials science tasks and iterative improvement in successive stages of instruction-data refinement. We study the quality of HoneyBee's language modeling through automatic evaluation and analyze case studies to further understand the model's capabilities and limitations. Our code and relevant datasets are publicly available at \url{https://github.com/BangLab-UdeM-Mila/NLP4MatSci-HoneyBee}.

연구 동기 및 목표

• 효과적인 언어 모델 훈련을 위한 재료 과학 분야에서의 고품질 도메인 전용 텍스트 데이터 부족 문제를 해결하기 위해.
• 대규모 언어 모델을 활용해 재료 과학에 특화된 지시 데이터를 신뢰성 있고 확장 가능한 방법으로 생성하기 위한 방법을 개발하기 위해.
• 기존 일반 모델 및 도메인 전용 모델을 능가하는 전문화된 고성능 언어 모델(HoneyBee)을 개발하기 위해.
• 검증 및 피드백을 통한 지시 데이터의 반복적 개선이 모델 성능 향상으로 이어지는지 확인하기 위해.

제안 방법

• MatSci-Instruct는 이중 단계 과정을 사용한다: 첫째, 지도 모델(예: ChatGPT)이 재료 과학 분야의 도메인 전용 지시 데이터를 생성하고, 둘째, 검증 모델(예: Claude)이 생성된 데이터의 정확성, 관련성, 타당성을 검토한다.
• 저품질 데이터는 평가자 피드백을 기반으로 개선되는 피드백 루프를 활용하여, 다중 반복을 통해 지시 데이터의 품질이 점진적으로 향상된다.
• HoneyBee는 재료 과학 코퍼스로의 미리 훈련 없이도 LLaMA 아키텍처를 사용하여 정제된 MatSci-Instruct 데이터셋으로 fine-tuning된다.
• 모델 성능 평가는 MatSci-NLP 벤치마크를 사용하며, 자동 평가 지표와 사례 연구를 통해 사실 정확성, 완전성, 추론 능력을 평가한다.
• 상업적으로 이용 가능한 LLM을 지도 모델, 검증 모델, 평가 모델로 활용하여 데이터 정제의 확장성과 신뢰성을 확보한다.
• 지시 데이터의 반복적 개선 단계를 적용하여, 각 단계에서 하류 재료 과학 작업에서의 모델 성능이 향상된다.

Figure 1: Example instruction generated by the MatSci-Instruct process used to train the HoneyBee language model that contains general language knowledge and is specialized in materials science. The relevant text to correctly answer the instruction is highlighted. MatSci-Instruct follows a structure

실험 결과

연구 질문

• RQ1 생물학적·물리적 과학 분야, 예를 들어 재료 과학 분야에 대해 고품질 지시 데이터를 생성하기 위한 타당하고 확장 가능한 프레임워크를 개발할 수 있는가?
• RQ2 재료 과학에 특화된 대규모 언어 모델이 일반 모델 및 BERT 기반 모델보다 도메인 전용 NLP 작업에서 뛰어난 성능을 보일 수 있는가?
• RQ3 검증 및 피드백을 통한 지시 데이터의 점진적 개선이 모델 성능 향상에 측정 가능한 영향을 미치는가?
• RQ4 재료 과학 텍스트로의 사전 훈련 없이도 정제된 지시 데이터만으로 훈련된 모델가 얼마나 높은 zero-shot 성능을 달성할 수 있는가?

주요 결과

• HoneyBee-7b-Stage1은 단 한 번의 MatSci-Instruct 데이터 라운드로만 훈련되었음에도 불구하고, MatSci-NLP 벤치마크에서 LLaMA-7b와 Alpaca-7b를 모두 능가하며 강력한 zero-shot 성능을 보였다.
• HoneyBee-13b와 HoneyBee-7b는 MatSci-Instruct 개선 단계를 거치며 일관되게 성능 향상을 보였으며, 이는 반복적 피드백 루프의 효과성을 확인한다.
• HoneyBee-13b는 사례 연구에서 ChatGPT 수준의 성능을 달성하여, 점진적 fine-tuning 이후 높은 수준의 추론 능력과 사실 정확성을 확보했다.
• HoneyBee는 분류 및 생성을 포함한 여러 MatSci-NLP 작업에서 최신 BERT 기반 모델(MatBERT, MatSciBERT)과 일반 LLM(LaMA, Alpaca)을 모두 능가했다.
• 재료 과학 텍스트로의 사전 훈련 없이도 뛰어난 성능을 달성하여, MatSci-Instruct 데이터 정제 파이프라인의 효과성을 입증했다.
• MatSci-Instruct 프레임워크는 전문화된, 고품질의 도메인 전용 지시 데이터셋을 생성할 수 있게 하여, 재료 과학을 위한 전용 빌리언 파라미터 LLM 개발을 가능하게 했다.

Figure 2: MatSci-Instruct and HoneyBee training workflow. We start with a series of predetermined structured instruction generation prompts that contain both topic and task descriptions. The Instructor (Chat-GPT) then generates a series of instructions that are then passed through the Verfifier (Cla