Skip to main content
QUICK REVIEW

[論文レビュー] ChemLLM: A Chemical Large Language Model

Di Zhang, Wei Liu|arXiv (Cornell University)|Feb 10, 2024
Computational Drug Discovery MethodsComputer Science被引用数 40
ひとこと要約

ChemLLMは化学に特化した最初のオープンソースLLMであり、ChemDataとChemBenchを用いた2-stage instruction-tuning アプローチを採用して、核心的な化学タスクでGPT-4–levelの性能を発揮し、一般的な能力でも競争力を持つ。

ABSTRACT

Large language models (LLMs) have made impressive progress in chemistry applications. However, the community lacks an LLM specifically designed for chemistry. The main challenges are two-fold: firstly, most chemical data and scientific knowledge are stored in structured databases, which limits the model's ability to sustain coherent dialogue when used directly. Secondly, there is an absence of objective and fair benchmark that encompass most chemistry tasks. Here, we introduce ChemLLM, a comprehensive framework that features the first LLM dedicated to chemistry. It also includes ChemData, a dataset specifically designed for instruction tuning, and ChemBench, a robust benchmark covering nine essential chemistry tasks. ChemLLM is adept at performing various tasks across chemical disciplines with fluid dialogue interaction. Notably, ChemLLM achieves results comparable to GPT-4 on the core chemical tasks and demonstrates competitive performance with LLMs of similar size in general scenarios. ChemLLM paves a new path for exploration in chemical studies, and our method of incorporating structured chemical knowledge into dialogue systems sets a new standard for developing LLMs in various scientific fields. Codes, Datasets, and Model weights are publicly accessible at https://hf.co/AI4Chem

研究の動機と目的

  • 構造化された化学知識と自然語言対話に対応できる化学専用LLMの必要性を動機付ける。
  • 構造化された化学データを対話形式のQAペアに変換する大規模な指示調整データセット(ChemData)を作成する。
  • LLMにおける化学の熟練度を客観的かつ事実重視で評価する頑丈な化学ベンチマーク(ChemBench)を確立する。
  • 化学の専門知識と汎用言語能力のバランスを取るため、2-stage instruction tuningでChemLLMを開発する。
  • ChemLLMがGPT-4と同等の化学タスクを達成し、一般ベンチマークで同等サイズのオープンモデルを上回ることを示す。

提案手法

  • InternLM2-Base-7Bから始まる2-stage instruction tuningでInternLM2-Chat-7Bを得て、次にChemData+Multi-Corpus混合でファインチューニングする。
  • ChemData: 7 million instruction-tuning Q&A が、分子、反応、領域特有のタスクを網羅するよう、シードテンプレートとGPT-4 prompted variations を用いて作成される;複数ターンのCoT風プロンプトを用いて文脈を豊かにする。
  • ChemBench: 9つの化学タスクにまたがる4,100問の多肢選択問題で、化学的理解を客観的に評価し出力スタイルのバイアスを低減するためのもの;OpenCompassを介してオープンソース化。
  • トレーニングにはメモリ効率のためにDeepSpeed ZeRO++、パラメータ効率のファインチューニングにLoRAを使用;オートレグレッシブクロスエントロピー損失を用いたSFT;混合精度(BF16)とflash attention-2を採用;8x2x GPUで特定のハイパーパラメータ(AdamW、学習率5e-5 など)を基準とする。
  • 評価は化学タスク(ChemBench)と一般能力ベンチマーク(MMLU、C-Eval、GSM8K、C-MHChem)で、ChemLLMをGPT-4および他のモデルと比較します。

実験結果

リサーチクエスチョン

  • RQ1化学に特化したLLMは、GPT-4と比較して核心となる化学タスクで競争力のある性能を達成できるか?
  • RQ2指示調整を通じて構造化された化学知識を組み込むことは、一般的な推論能力と多言語能力を向上させるか?
  • RQ3同等サイズのオープンモデルと比較して、一般ドメインのベンチマークでChemLLMはどのように性能を発揮するか?
  • RQ4ChemBenchベンチマークは、LLMの化学的熟練度を公正かつ客観的に評価するのに有効か?

主な発見

  • ChemLLMはChemBench全体でコア化学タスクにおいてGPT-4と同等を達成し、しばしば他の7Bパラメータ基準より上回る、または対等に競合する。
  • 一般ベンチマークでは、MMLU、C-Eval、GSM8Kで同程度のサイズの他モデルを上回り、汎用的な推論能力と言語能力の多言語性が強化されていることを示している。
  • ほとんどのタスクでGPT-3.5を超え、全体的にはGPT-4が依然として優れているものの、ChemLLMは9つの化学タスク全体で高く順位している。
  • 2段階トレーニング(ドメイン固有データと広範なコーパス)により、単一段階アプローチ(InternLM2-Chat-7B)に比べて顕著な改善をもたらす。
  • 文献翻訳、化学をテーマにした創作タスクなど、定性的な化学NLP能力が示され、化学分野での実用的有用性を強調している。

この論文を読む

Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。

Nubintでこの論文を読む

このレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。