[论文解读] MolecularGPT: Open Large Language Model (LLM) for Few-Shot Molecular Property Prediction

Yuyan Liu, Sirui Ding+3 more|arXiv (Cornell University)|Jun 18, 2024

Machine Learning in Materials Science被引用 10

一句话总结

MolecularGPT 是一个针对少-shot 分子性质预测的指令微调开放型大型语言模型，使用结构感知的少-shot 指令和混合零-shot/少-shot 提示集以实现对未见MPP任务的泛化。它在多个基准测试中实现具有竞争力的零-shot表现和更优的少-shot表现，超越若干基线。

ABSTRACT

Molecular property prediction (MPP) is a fundamental and crucial task in drug discovery. However, prior methods are limited by the requirement for a large number of labeled molecules and their restricted ability to generalize for unseen and new tasks, both of which are essential for real-world applications. To address these challenges, we present MolecularGPT for few-shot MPP. From a perspective on instruction tuning, we fine-tune large language models (LLMs) based on curated molecular instructions spanning over 1000 property prediction tasks. This enables building a versatile and specialized LLM that can be adapted to novel MPP tasks without any fine-tuning through zero- and few-shot in-context learning (ICL). MolecularGPT exhibits competitive in-context reasoning capabilities across 10 downstream evaluation datasets, setting new benchmarks for few-shot molecular prediction tasks. More importantly, with just two-shot examples, MolecularGPT can outperform standard supervised graph neural network methods on 4 out of 7 datasets. It also excels state-of-the-art LLM baselines by up to 15.7% increase on classification accuracy and decrease of 17.9 on regression metrics (e.g., RMSE) under zero-shot. This study demonstrates the potential of LLMs as effective few-shot molecular property predictors. The code is available at https://github.com/NYUSHCS/MolecularGPT.

研究动机与目标

• 弥合传统监督型 MPP 与开放式 LLMs 之间的差距，通过对 LLM 进行分子指令微调，使其能够泛化到未见的 MPP 任务。
• 利用基于 SMILES 的指令微调和结构感知的少-shot 演示，结合分子图信息。
• 探索一种混合指令集，在 MPP 中平衡零-shot 与少-shot 在上下文学习中的能力。
• 在多样化数据集上进行评估，建立少-shot 基准并分析指令设计的影响。

提出的方法

• 使用 SMILES 将分子图转换为统一的字符串表示，用于指令构建。
• 通过 MACCS/ Tanimoto 相似度检索前 K 个相似分子，并将其用作提示中的演示，引入结构感知的少-shot 指令。
• 开发将零-shot 与少-shot 模板结合在一起的混合指令微调方案，以保留零-shot 推理能力，同时提升强的少-shot ICL。
• 在构建的指令集上，对预训练的 LLM (LLaMA2-7b-chat) 使用 QLoRA 进行微调，覆盖超过 1000 个 MPP 任务。
• 在 10 个下游数据集上使用 ROC-AUC 进行分类评估和 RMSE 进行回归评估，并与 GNN 基线和更大规模的 LLM 基线进行比较。

实验结果

研究问题

• RQ1 RQ1: MolecularGPT 是否能够通过零-shot 和少-shot ICL 有效且稳健地处理新的性质预测任务？
• RQ2 RQ2: 在微调过程中，为提升 MolecularGPT 的泛化与 ICL 能力，最优的上下文指令集设计是什么？
• RQ3 RQ3: 上下文示例的数量、顺序与多样性如何影响 MolecularGPT 的性能？

主要发现

• MolecularGPT 在若干数据集上的零-shot 表现与其他语言模型相比具有竞争力，并在若干数据集上优于 GIMLET 和基于 LLaMA 的基线。
• 在两-shot 演示下，MolecularGPT 在 7 个数据集中的 4 个数据集上优于标准的监督 GNN 方法，在 BBBP 的两-shot 条件下与 finetuned Graphormer-p 相当或更优。
• MolecularGPT 在分类任务的 ROC-AUC 平均提升高达 16.6%，并在零-shot 相对强基线的 LLM 中，在回归任务实现显著的 RMSE 降低。
• 混合零-shot 与少-shot 提示的指令集在所有任务中一致提升零-shot 和少-shot 的表现。
• 更大的指令集和混合-shot 微调提升性能，在按与查询的相似度降序排序进行检索的演示最为有效。