[论文解读] A Sober Look at LLMs for Material Discovery: Are They Actually Good for Bayesian Optimization Over Molecules?

Agustinus Kristiadi, Felix Strieth‐Kalthoff+4 more|arXiv (Cornell University)|Feb 7, 2024

Computational Drug Discovery Methods被引用 8

一句话总结

本文评估是否大型语言模型（LLMs）有助于对分子进行贝叶斯优化，并显示在与有原理的贝叶斯代理结合时，化学专用的预训练或微调可以提升性能。

ABSTRACT

Automation is one of the cornerstones of contemporary material discovery. Bayesian optimization (BO) is an essential part of such workflows, enabling scientists to leverage prior domain knowledge into efficient exploration of a large molecular space. While such prior knowledge can take many forms, there has been significant fanfare around the ancillary scientific knowledge encapsulated in large language models (LLMs). However, existing work thus far has only explored LLMs for heuristic materials searches. Indeed, recent work obtains the uncertainty estimate -- an integral part of BO -- from point-estimated, non-Bayesian LLMs. In this work, we study the question of whether LLMs are actually useful to accelerate principled Bayesian optimization in the molecular space. We take a sober, dispassionate stance in answering this question. This is done by carefully (i) viewing LLMs as fixed feature extractors for standard but principled BO surrogate models and by (ii) leveraging parameter-efficient finetuning methods and Bayesian neural networks to obtain the posterior of the LLM surrogate. Our extensive experiments with real-world chemistry problems show that LLMs can be useful for BO over molecules, but only if they have been pretrained or finetuned with domain-specific data.

研究动机与目标

• 推动自动化材料发现，并强调在大分子空间中实现高效探索的必要性。
• 研究LLMs是否为化学领域的贝叶斯优化提供有用的先验信息。
• 比较固定特征的LLM代理与基于PEFT的贝叶斯代理。
• 提供一个面向离散分子空间的有原理的贝叶斯优化的软件库。

提出的方法

• 将LLMs视为固定特征提取器，使用它们的嵌入与标准贝叶斯代理（GPs或Laplace近似的NNs）。
• 评估化学专用与通用LLMs在多个分子任务上的BO性能。
• 应用参数高效微调（PEFT）方法（如LoRA），并使用Laplace近似获得后验预测分布。
• 通过在预训练权重上进行条件化并对PEFT参数进行贝叶斯推断来形成贝叶斯PEFT。
• 在真实世界化学数据集上，评估单目标和多目标BO，使用各种提示和提示策略。

实验结果

研究问题

• RQ1 化学专用的LLMs相对于通用LLMs，在分子上的BO中是否提供更好的特征？
• RQ2 结合PEFT与贝叶斯推断是否能在固定特征代理相比，得到具有竞争力或优越的BO性能？
• RQ3 在使用LLM派生特征时，提示选择如何影响BO性能？
• RQ4 以上下文学习为基础的BO（ICL）是否具备与使用LLM特征的有原理贝叶斯代理竞争力？

主要发现

• 领域特定的LLM特征（如T5-Chem、MolFormer）通常比通用LLMs和传统指纹在分子BO中具有更好表现。
• 对LLMs进行PEFT微调（如LoRA）并结合Laplace推断，在大多数任务中提升BO性能，且有时提升明显。
• 只用简单提示（如SMILES）的化学聚焦LLMs在不需要大量提示工程的情况下也能提供强劲的BO性能。
• 基于上下文学习的BO（BO-LIFT）成本更高且有时不如使用化学专用LLMs的有原理贝叶斯代理有效。
• 提示选择会影响性能，化学专用模型往往偏好与预训练对齐的提示（如SMILES）。
• 基于PEFT的贝叶斯代理为离散分子空间的BO提供了有原理、成本更高效的替代方案，优于对全量微调或ICL。