[论文解读] Can Large Language Models Empower Molecular Property Prediction?

Qian Chen, Huayi Tang+3 more|arXiv (Cornell University)|Jul 14, 2023

Machine Learning in Materials Science被引用 13

一句话总结

该论文研究利用大语言模型（LLMs）通过零-shot/少-shot 的上下文分类以及一个由LLM生成的SMILES解释构建的新CaR表示，在基准数据集上CaR往往与基线相匹配甚至超越。

ABSTRACT

Molecular property prediction has gained significant attention due to its transformative potential in multiple scientific disciplines. Conventionally, a molecule graph can be represented either as a graph-structured data or a SMILES text. Recently, the rapid development of Large Language Models (LLMs) has revolutionized the field of NLP. Although it is natural to utilize LLMs to assist in understanding molecules represented by SMILES, the exploration of how LLMs will impact molecular property prediction is still in its early stage. In this work, we advance towards this objective through two perspectives: zero/few-shot molecular classification, and using the new explanations generated by LLMs as representations of molecules. To be specific, we first prompt LLMs to do in-context molecular classification and evaluate their performance. After that, we employ LLMs to generate semantically enriched explanations for the original SMILES and then leverage that to fine-tune a small-scale LM model for multiple downstream tasks. The experimental results highlight the superiority of text explanations as molecular representations across multiple benchmark datasets, and confirm the immense potential of LLMs in molecular property prediction tasks. Codes are available at \url{https://github.com/ChnQ/LLM4Mol}.

研究动机与目标

• 将分子性质预测作为NLP时代模型的一个领域进行动机化，并评估LLM在基于SMILES的任务上的能力。
• 使用ChatGPT的上下文学习研究零-shot/少-shot 的分子分类。
• 提出CaR（Captions as New Representation）以生成SMILES的语义解释供下游建模使用。
• 在LLM生成的解释上对一个小型预训练语言模型进行微调，以执行分类和回归任务。
• 在多个数据集上将CaR与基于图的和基于SMILES的基线进行比较。

提出的方法

• 通过提示ChatGPT执行上下文分子分类以评估零-shot/少-shot 能力。
• 使用ChatGPT为SMILES字符串生成语义丰富的解释，并将这些解释用作分子表示（CaR）。
• 在下游任务上使用CaR表示微调一个小型预训练语言模型（例如RoBERTa）。
• 在九个数据集上评估涵盖分类和回归任务的性能。
• 通过用其他预训练模型（DeBERTa、adaptive-lm-molecules）替换小型LM并从头训练，进行收敛性分析和消融实验。

实验结果

研究问题

• RQ1 与传统方法相比，ChatGPT在零-shot/少-shot分子分类方面能否有效地执行？
• RQ2 LLM生成的文本解释是否为分子性质预测提供有意义的表征？
• RQ3 CaR是否在多样化数据集上提高了相对于传统GNNs和基于SMILES的方法的性能？
• RQ4 在不同数据划分（随机分割与 scaffold 分割）以及不同的小型LM主干网络条件下，CaR的表现如何？
• RQ5 在CaR流程中使用预训练LM与从头训练的LM有何影响？

主要发现

• 在随机划分下，CaR在几乎所有数据集的分类和回归任务上取得优越的结果。
• 在随机划分的PTC数据集上，CaR相较传统方法提升了53%。
• 在 scaffold 划分下，CaR在若干数据集上取得了有竞争力的结果，在某些情形下有显著提升，与GNN相比在 Lipophilicity 方面略有不足。
• 收敛性分析表明CaR损失在初始阶段快速下降，然后波动趋于收敛，而ROC-AUC呈现相反趋势。
• 用其他预训练LM（DeBERTa、adaptive-LM Molecules）替换小型LM可获得与从头训练相似或更好的性能，验证了CaR的有效性。
• 零-shot/少-shot ChatGPT的性能因数据集和提示而异，随着更多样本的增加而提升，但提示设计对结果有关键影响。