[论文解读] Benchmarking Large Language Models for Molecule Prediction Tasks

Zhiqiang Zhong, Kuangyu Zhou+1 more|arXiv (Cornell University)|Mar 8, 2024

Machine Learning in Materials Science被引用 6

一句话总结

论文评估大型语言模型（LLMs）在分子预测任务上的表现，与为分子数据设计的ML模型进行比较，并探讨提示和混合方法，以利用LLMs作为知识增强器而非直接预测者。

ABSTRACT

Large Language Models (LLMs) stand at the forefront of a number of Natural Language Processing (NLP) tasks. Despite the widespread adoption of LLMs in NLP, much of their potential in broader fields remains largely unexplored, and significant limitations persist in their design and implementation. Notably, LLMs struggle with structured data, such as graphs, and often falter when tasked with answering domain-specific questions requiring deep expertise, such as those in biology and chemistry. In this paper, we explore a fundamental question: Can LLMs effectively handle molecule prediction tasks? Rather than pursuing top-tier performance, our goal is to assess how LLMs can contribute to diverse molecule tasks. We identify several classification and regression prediction tasks across six standard molecule datasets. Subsequently, we carefully design a set of prompts to query LLMs on these tasks and compare their performance with existing Machine Learning (ML) models, which include text-based models and those specifically designed for analysing the geometric structure of molecules. Our investigation reveals several key insights: Firstly, LLMs generally lag behind ML models in achieving competitive performance on molecule tasks, particularly when compared to models adept at capturing the geometric structure of molecules, highlighting the constrained ability of LLMs to comprehend graph data. Secondly, LLMs show promise in enhancing the performance of ML models when used collaboratively. Lastly, we engage in a discourse regarding the challenges and promising avenues to harness LLMs for molecule prediction tasks. The code and models are available at https://github.com/zhiqiangzhongddu/LLMaMol.

研究动机与目标

• 评估LLMs是否能够在多个基准数据集上有效处理分子预测任务。
• 将基于LLM的方法与传统ML模型（包括可处理图结构的方法）进行比较。
• 调查提示设计（零-shot与少量-shot）以及将LLM输出与ML模型整合的潜力。
• 检查通过文本编码描述将分子几何信息纳入是否对LLMs有帮助。

提出的方法

• 使用SMILES字符串以及编码原子特征和图结构的文本描述来表示分子。
• 设计并评估提示（IF、IP、IE、IFD、IPD、IED、FS）以在黑盒设置下从固定参数的LLMs中引出预测。
• 运行基于LLM的流程（LLM_Solo 与 LLM_Duo），以及LM基线和GNN基线。
• 使用标准ML模型（GCN、GIN、基于DeBERTa的LM）在六个基准数据集上进行比较。
• 分析预测器性能和响应一致性，以评估LLMs在分子任务中的实用性和局限性。

实验结果

研究问题

• RQ1 LLMs是否能在六个基准数据集上的分子图性质预测任务中取得具有竞争力的表现？
• RQ2 LLMs在预测分子性质时是否受益于提示工程和少样本示例？
• RQ3 将图结构编码为文本描述有助于还是妨碍LLMs在分子任务上的表现？
• RQ4 LLMs能否增强传统ML模型以提高分子任务中的预测准确性？
• RQ5 使用LLMs进行分子预测任务的局限性和有前景的方向是什么？

主要发现

• LLMs通常落后于ML模型，特别是那些能捕捉分子几何的信息的模型，在分子预测任务中。
• GPT-family 模型（GPT-3.5、GPT-4）在这一领域优于其他LLMs，但GPT-4的成本和速度比GPT-3.5大幅更高。
• 将分子几何的文本描述加入提示并不可靠地提升性能，且可能降低响应的一致性。
• 纳入几何结构的模型在预测上优于仅文本的LLMs，凸显几何信息在准确预测中的重要性。
• LLMs可以在若干场景下显著提升ML模型的性能，表明LLMs更适合作为知识增强器，而非唯一预测者。
• 一个实际的启示是考虑将LLMs用作ML流程的领域知识增强，而不是直接作为分子性质预测器。