Skip to main content
QUICK REVIEW

[논문 리뷰] ChemLLM: A Chemical Large Language Model

Di Zhang, Wei Liu|arXiv (Cornell University)|2024. 02. 10.
Computational Drug Discovery MethodsComputer Science인용 수 40
한 줄 요약

ChemLLM은 화학 전용으로 설계된 최초의 오픈 소스 LLM로, ChemData와 ChemBench를 이용한 2단계 지시-세분화 접근 방식을 통해 핵심 화학 과제에서 GPT-4 수준의 성능과 일반 능력에서 경쟁력 있는 성능을 달성한다.

ABSTRACT

Large language models (LLMs) have made impressive progress in chemistry applications. However, the community lacks an LLM specifically designed for chemistry. The main challenges are two-fold: firstly, most chemical data and scientific knowledge are stored in structured databases, which limits the model's ability to sustain coherent dialogue when used directly. Secondly, there is an absence of objective and fair benchmark that encompass most chemistry tasks. Here, we introduce ChemLLM, a comprehensive framework that features the first LLM dedicated to chemistry. It also includes ChemData, a dataset specifically designed for instruction tuning, and ChemBench, a robust benchmark covering nine essential chemistry tasks. ChemLLM is adept at performing various tasks across chemical disciplines with fluid dialogue interaction. Notably, ChemLLM achieves results comparable to GPT-4 on the core chemical tasks and demonstrates competitive performance with LLMs of similar size in general scenarios. ChemLLM paves a new path for exploration in chemical studies, and our method of incorporating structured chemical knowledge into dialogue systems sets a new standard for developing LLMs in various scientific fields. Codes, Datasets, and Model weights are publicly accessible at https://hf.co/AI4Chem

연구 동기 및 목표

  • 구조화된 화학 지식과 자연어 대화를 처리할 수 있는 화학 전용 LLM의 필요성을 촉구한다.
  • 구조화된 화학 데이터를 대화 형 QA 쌍으로 변환하기 위한 대규모 지시-세분화 데이터 세트(ChemData) 생성.
  • 화학 능숙도에 대한 객관적이고 사실 중심의 평가를 위한 강력한 화학 벤치마크(ChemBench) 확립.
  • 화학 전문 지식과 일반 언어 역량의 균형을 맞추기 위해 2단계 지시-세분화를 통해 ChemLLM 개발.
  • ChemLLM이 GPT-4에 비견되는 화학 과제를 수행하고 일반 벤치마크에서 유사 규모의 오픈 모델을 능가한다는 것을 입증한다.

제안 방법

  • InternLM2-Base-7B에서 시작하여 InternLM2-Chat-7B를 도출하는 2단계 지시-세분화 후, ChemData+Multi-Corpus 혼합으로 미세조정.
  • ChemData: 분자, 반응, 도메인 특정 과제를 포함하는 700만 개의 지시-세분화 Q&A로, 시드 템플릿과 GPT-4 프롬프트 변형을 통해 생성되며; 다회전 CoT 스타일 프롬프트를 사용하여 맥락을 풍부하게 한다.
  • ChemBench: 9가지 화학 과제에 걸친 4,100개의 객관식 문제로 화학 이해를 객관적으로 평가하고 출력 형식 편향을 줄인다; OpenCompass를 통해 오픈 소스.
  • 학습은 메모리 효율성을 위한 DeepSpeed ZeRO++와 매개변수 효율적 미세 조정을 위한 LoRA를 사용한다; 자기회귀 교차 엔트로피 손실로 SFT; 혼합정밀도(BF16)와 flash attention-2; 구체적 하이퍼파라미터를 가진 8x2x GPU에서의 베이스라인(AdamW, 학습률 5e-5 등).
  • 평가는 ChemLLM을 화학 과제(ChemBench) 및 일반 능력 벤치마크(MMLU, C-Eval, GSM8K, C-MHChem)에서 GPT-4 및 다른 모델과 비교한다.

실험 결과

연구 질문

  • RQ1화학에 특화된 LLM이 핵심 화학 과제에서 GPT-4에 비해 경쟁력 있는 성능을 달성할 수 있는가?
  • RQ2지시-세분화를 통한 구조화된 화학 지식의 도입이 일반적 추론 능력과 다국어 능력을 향상시키는가?
  • RQ3유사 규모의 오픈 모델과 비교할 때 일반 도메인 벤치마크에서 ChemLLM의 성능은 어떠한가?
  • RQ4ChemBench 벤치마크가 LLM의 화학 숙련도에 대한 공정하고 객관적인 평가에 효과적인가?

주요 결과

  • ChemLLM은 ChemBench 전반에 걸친 핵심 화학 과제에서 GPT-4와 일치하며 자주 7B 매개변수 기준선과 비교해 우수하거나 공개적으로 경쟁한다.
  • 일반 벤치마크에서 ChemLLM은 MMLU, C-Eval, GSM8K에서 유사 규모의 다른 모델을 능가하여 일반적 추론 능력과 다국어 능력이 강화되었음을 시사한다.
  • 대부분의 과제에서 ChemLLM은 GPT-3.5를 능가하고, 전체적으로는 GPT-4가 우수하나 ChemLLM은 아홉 가지 화학 과제에서 높은 순위를 차지한다.
  • 도메인 특화 데이터와 광범위 코퍼스의 2단계 학습은 단일 단계 접근법(InternLM2-Chat-7B) 대비 주목할 만한 개선을 가져온다.
  • 정성적 화학 NLP 능력(예: 문헌 번역, 화학 주제의 창의적 작업)이 입증되어 화학 맥락에서의 실용적 활용성을 강조한다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.