[논문 리뷰] SciInstruct: a Self-Reflective Instruction Annotated Dataset for Training Scientific Language Models

Dan Zhang, Ziniu Hu외 7명|arXiv (Cornell University)|2024. 01. 15.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 과학적 추론을 위한 고품질의 자기반성적 지시 주석 데이터셋인 SciInstruct와 이를 기반으로 한 과학적 언어 모델인 SciGLM을 소개한다. LLM 기반의 자기반성적 프레임워크를 활용해 추론 단계를 생성하고 수정함으로써, 수학, 물리학, 화학, 그리고 형식적 증명을 포함한 다양한 분야를 아우르는 다양하고 고품질의 데이터셋을 구축하였다. 이는 기초 언어 능력을 훼손하지 않은 채 과학적 및 수학적 추론 능력에서 뚜렷한 성능 향상을 이끌어낸다.

ABSTRACT

Large Language Models (LLMs) have shown promise in assisting scientific discovery. However, such applications are currently limited by LLMs' deficiencies in understanding intricate scientific concepts, deriving symbolic equations, and solving advanced numerical calculations. To bridge these gaps, we introduce SciInstruct, a suite of scientific instructions for training scientific language models capable of college-level scientific reasoning. Central to our approach is a novel self-reflective instruction annotation framework to address the data scarcity challenge in the science domain. This framework leverages existing LLMs to generate step-by-step reasoning for unlabelled scientific questions, followed by a process of self-reflective critic-and-revise. Applying this framework, we curated a diverse and high-quality dataset encompassing physics, chemistry, math, and formal proofs. We analyze the curated SciInstruct from multiple interesting perspectives (e.g., domain, scale, source, question type, answer length, etc.). To verify the effectiveness of SciInstruct, we fine-tuned different language models with SciInstruct, i.e., ChatGLM3 (6B and 32B), Llama3-8B-Instruct, and Mistral-7B: MetaMath, enhancing their scientific and mathematical reasoning capabilities, without sacrificing the language understanding capabilities of the base model. We release all codes and SciInstruct at https://github.com/THUDM/SciGLM.

연구 동기 및 목표

• 과학적 언어 모델을 훈련하기 위한 고품질의 추론 중심 지시 데이터 부족 문제를 해결하기 위해.
• 수학적 과제에 국한되지 않고 물리학, 화학, 형식적 증명을 포함한 다양한 분야에서 대규모 언어 모델의 과학적 추론 능력을 향상시키기 위해.
• 자기반성과 오류 수정을 통해 고품질 데이터를 유지하면서 인간의 참여를 최소화하는 확장 가능한 AI 기반 주석 프레임워크를 개발하기 위해.
• 다양하고 고품질의 과학적 지시 데이터를 기반으로 한 미세조정이 다양한 벤치마크에서 추론 성능을 크게 향상시킬 수 있음을 입증하기 위해.
• SciInstruct, SciGLM, 그리고 자기반성적 프레임워크를 공개하여 과학적 AI 분야의 개방형 연구를 지원하기 위해.

제안 방법

• LLM 기반의 자기반성적 지시 주석 프레임워크를 활용하여, LLM이 추론 단계를 생성한 후 잘못된 답변 기반으로 스스로를 비판하고 수정하는 방식을 사용한다.
• LLM을 활용해 훈련을 위한 데이터 분류기의 훈련을 위해 긍정적 및 부정적 샘플을 생성한다.
• 수학, 물리학, 화학, 그리고 Lean에서의 형식적 증명 분야의 정제된 과학적 질문들을 조합하여 단계별 추론과 검증된 답변을 포함한 SciInstruct를 구성한다.
• ChatGLM3 시리즈 모델(6B, 12B, 32B)을 SciInstruct에 대해 미세조정하여 과학적 추론 능력을 향상시키고 기초 언어 이해 능력을 유지하는 SciGLM을 개발한다.
• 다단계 데이터 처리 파이프라인을 적용: 초기 LLM 생성 → 오류 기반 자기반성 → 답변 검증 → 고품질 데이터를 위한 분류기 기반 필터링.
• 기존의 LLM을 활용해 자율적으로 추론 체인을 생성하고 개선함으로써 인간 주석의 최소화를 이루되, 반복적인 자기비판을 통해 정확성을 확보한다.

Figure 1: Average accuracy on CEval-Sci and SciEval benchmarks of different LLMs. Our SciGLM Models fine-tuned on ChatGLM3 are shown in bold.

실험 결과

연구 질문

• RQ1 LLM 기반의 자기반성적 프레임워크는 인간의 간섭을 최소화하면서도 고품질의 과학적 지시 데이터를 생성할 수 있는가?
• RQ2 SciInstruct와 같은 다양한 추론 중심 데이터셋에 대해 미세조정을 수행하면, 다양한 분야에서 LLM의 과학적 추론 능력이 뚜렷이 향상되는가?
• RQ3 이러한 데이터를 통한 추론 능력 향상이 일반 언어 이해 능력을 떨어뜨리지 않고도 과학 벤치마크에서 성능 향상을 이끌어내는가?
• RQ4 합성된 자기주석 데이터가 과학적 추론 과제에서 인간 주석 데이터셋의 성능을 따라하거나 초월할 수 있는가?
• RQ5 LLM과 분류기를 활용한 자기개선형 데이터 파이프라인은 과학 분야에서 노이즈 또는 잘못된 지시를 효과적으로 걸러낼 수 있는가?

주요 결과

• SciInstruct에 대해 미세조정된 SciGLM 모델들은 CEval-Sci 및 SciEval 벤치마크에서 최신 기준 성능을 달성하였으며, 기초 ChatGLM3-6B-Base 모델과 비교해도 물론 더 큰 모델들(수천 배 이상의 파rameter)에 비해도 뛰어난 성능을 보였다.
• 자기반성 주석 프레임워크는 최소한의 인간 입력으로도 고품질의 추론 단계를 성공적으로 생성하여 데이터 품질과 모델 성능을 크게 향상시켰다.
• SciGLM은 과학적 추론 능력에서 뚜렷한 향상을 이룬 동시에 기초 언어 이해 능력을 유지하여 일반 능력과 전문 능력 간의 상충관계가 없음을 시사한다.
• 6B, 12B, 32B 등 모든 테스트된 모델 크기에서 일관된 성능 향상이 관찰되어, 훈련 방법의 확장성과 일반화 능력을 입증하였다.
• 파이프라인에 사용된 데이터 분류기는 지시 품질을 향상시켰으며, 향후 데이터의 자동 부트스트랩화를 통해 모델 성능을 더욱 향상시킬 수 있다.
• SciInstruct, SciGLM, 그리고 자기반성적 프레임워크의 공개는 과학적 언어 모델링 및 추론 분야의 광범위한 연구를 가능하게 하였다.

Figure 2: The pipeline of constructing SciInstruct . On the far left is a mix of training datasets. The purpose of the annotation is to supplement chain-of-thought processes with reflective generation. The goal of the filter is to train a data classifier and generate high-quality instructions.