[論文レビュー] Developing ChemDFM as a large language foundation model for chemistry

Zihan Zhao, Da Ma+12 more|arXiv (Cornell University)|Jan 26, 2024

Topic Modeling被引用数 8

ひとこと要約

ChemDFM-13Bは、34Bの化学トークンに基づくドメイン事前学習と指示チューニングを経て訓練された化学特化の対話型基盤モデルであり、化学特有の推論能力が強化され、多くのタスクでGPT-4を凌駕しつつ、オープンソースのLLMとも競争力を維持している。

ABSTRACT

Artificial intelligence (AI) has played an increasingly important role in chemical research. However, most models currently used in chemistry are specialist models that require training and tuning for specific tasks. A more generic and efficient solution would be an AI model that could address many tasks and support free-form dialogue in the broad field of chemistry. In its utmost form, such a generalist AI chemist could be referred to as Chemical General Intelligence. Large language models (LLMs) have recently logged tremendous success in the general domain of natural language processing, showing emerging task generalization and free-form dialogue capabilities. However, domain knowledge of chemistry is largely missing when training general-domain LLMs. The lack of such knowledge greatly hinders the performance of generalist LLMs in the field of chemistry. To this end, we develop ChemDFM, a pioneering LLM for chemistry trained on 34B tokens from chemical literature and textbooks, and fine-tuned using 2.7M instructions. As a result, it can understand and reason with chemical knowledge in free-form dialogue. Quantitative evaluations show that ChemDFM significantly surpasses most representative open-source LLMs. It outperforms GPT-4 on a great portion of chemical tasks, despite the substantial size difference. We have open-sourced the inference codes, evaluation datasets, and model weights of ChemDFM on Huggingface (https://huggingface.co/OpenDFM/ChemDFM-v1.0-13B).

研究の動機と目的

• 化学研究と対話型協力（CGI）を支援する化学特化型大規模言語モデルの開発動機付け。
• 論文・教科書と分子表現（SMILES）といったドメイン特有データを活用して化学知識と推論を植え付ける。
• 一般的な言語能力を維持しつつ、自由形式の化学対話のための化学言語理解を獲得する。

提案手法

• 2段階の専門化: 化学が豊富なコーパス（論文・教科書）と一般ドメインデータによるドメイン事前学習を実施; Megatron-DeepSpeedを用いてLLaMa-13Bのプリトレーニングを継続。
• 指示チューニングは化学言語パターン、特にSMILESと分子表記に焦点を当て、多様な対話形式データセット（MD、TBMD、MPP、RC、MNA、QA、試験）を用いて、タスクごとに複数のプロンプトを作成しGPT-4によって言い換えを行う。
• 指示フェーズでの全パラメータ調整を実施し、化学ドメインと一般ドメインデータをおおよそ1:2の比率で混合して、広範な言語能力を保持。
• データセットの構成要素にはSMILES理解（MD、TBMD、MPP、RC、MNA）と自然言語の化学QA、加えて分子表記の翻訳と複数モーダル言語の考慮を含む。

実験結果

リサーチクエスチョン

• RQ1 自由形式の対話で化学タスクを多様に遂行しつつ、SMILES・IUPAC名・式などの化学表記を理解できる化学特化型LLMは作れるか。
• RQ2 化学に焦点を当てたLLMは、化学ベンチマークでタスク固有モデルや一般的なLLMにどの程度匹敵・上回るか。
• RQ3 ドメイン特化型の事前学習と指示チューニングの統合は、化学研究の人間-AI協働を効果的に促進できるか。

主な発見

モデル	bace	bbb p	CT	HIV	T21
Uni-Mol	85.7	72.9	91.9	80.8	79.6
MolXPT	88.4	80.0	95.3	78.1	77.1
InstructMol	85.9	64.0	-	74.0	-
GPT-4	62.5	61.5	51.6	65.9	55.2
LLaMa-2-13B-chat	26.0	60.3	45.7	29.0	51.7
Galactica (30B)	72.7	59.6	82.2	75.9	68.5
ChemDFM-13B	78.4	66.7	89.9	73.6	79.8

• ChemDFM-13BはChemLLMBenchとSciEvalの化学ベンチマークで代表的なオープンソースLLMを顕著に上回る。
• 分子認識タスクでは、ChemDFMは名称予測と分子キャプショニングの性能が優れており、名前予測タスクの一部でGPT-4をも上回る。
• 分子性質予測（MoleculeNetのスキャフォールド縦割り分割タスク）では、ChemDFM-13BがGPT-4やLLaMa-2-13B-chatなどのLLMベースラインより高いAUC-ROCを達成。
• テキストベースの分子設計では、ChemDFMはオープンソースLLMやいくつかの専門モデルを大半の指標で上回る。
• 反応予測と逆合成タスクでChemDFMは強力な性能を示し、オープンソースLLMを上回ることが多く、多くのタスクでGPT-4に迫る/超えることがある。
• SciEvalの結果は、化学分野でオープンソースLLMの中で最も高い性能を示し、生物学・物理学でも競争力のある結果を維持している。