[论文解读] Empowering Molecule Discovery for Molecule-Caption Translation with Large Language Models: A ChatGPT Perspective

Jiatong Li, Yunqing Liu+5 more|arXiv (Cornell University)|Jun 11, 2023

Machine Learning in Materials Science参考文献 40被引用 22

一句话总结

MolReGPT 使用检索式提示和与 ChatGPT 的上下文学习，在分子与自然语言之间进行翻译以实现分子发现，在关键任务上超越对 MolT5-base 的微调，且无需任何微调。

ABSTRACT

Molecule discovery plays a crucial role in various scientific fields, advancing the design of tailored materials and drugs. However, most of the existing methods heavily rely on domain experts, require excessive computational cost, or suffer from sub-optimal performance. On the other hand, Large Language Models (LLMs), like ChatGPT, have shown remarkable performance in various cross-modal tasks due to their powerful capabilities in natural language understanding, generalization, and in-context learning (ICL), which provides unprecedented opportunities to advance molecule discovery. Despite several previous works trying to apply LLMs in this task, the lack of domain-specific corpus and difficulties in training specialized LLMs still remain challenges. In this work, we propose a novel LLM-based framework (MolReGPT) for molecule-caption translation, where an In-Context Few-Shot Molecule Learning paradigm is introduced to empower molecule discovery with LLMs like ChatGPT to perform their in-context learning capability without domain-specific pre-training and fine-tuning. MolReGPT leverages the principle of molecular similarity to retrieve similar molecules and their text descriptions from a local database to enable LLMs to learn the task knowledge from context examples. We evaluate the effectiveness of MolReGPT on molecule-caption translation, including molecule understanding and text-based molecule generation. Experimental results show that compared to fine-tuned models, MolReGPT outperforms MolT5-base and is comparable to MolT5-large without additional training. To the best of our knowledge, MolReGPT is the first work to leverage LLMs via in-context learning in molecule-caption translation for advancing molecule discovery. Our work expands the scope of LLM applications, as well as providing a new paradigm for molecule discovery and design.

研究动机与目标

• 通过在分子与自然语言之间进行翻译以帮助材料和药物设计，从而推动高效的分子发现。
• 通过利用带有检索式提示的大模型减少对领域专家和高成本微调的依赖。
• 将大模型输出嵌入来自本地数据库的领域相关示例中，以作为依据。
• 证明一个大模型（ChatGPT）在 Mol2Cap 与 Cap2Mol 任务上可以优于微调基线。
• 提供一个可运行的框架及证据，表明提示可以在不更新参数的情况下引导跨模态分子理解。

提出的方法

• 提出 MolReGPT，这是一个四阶段框架：分子-注释检索、提示管理、上下文少-shot 分子学习与生成校准。
• 使用 Morgan 指纹与 Dice 相似度来检索结构上相似的分子以为注释提供依据。
• 使用基于 BM25 的注释检索来寻找 Cap2Mol 任务的语义相似注释。
• 用检索得到的示例构建系统提示，指导 ChatGPT 进行无需微调的上下文学习。
• 强制执行预定义的 JSON 输出格式，并应用生成校准以在需要时纠正格式或重新查询。

实验结果

研究问题

• RQ1 检索增强的上下文学习是否能够让 ChatGPT 在不进行微调的情况下执行分子注释（Mol2Cap）和基于文本的分子生成（Cap2Mol）？
• RQ2 基于 Morgan 指纹的分子检索和基于 BM25 的注释检索是否能提升对LLM 支持的分子-注释翻译的表现？
• RQ3 在 Mol2Cap 与 Cap2Mol 任务上，MolReGPT 与微调基线（如 MolT5-base）的对比如何？
• RQ4 检索示例数量（n-shot）对翻译质量有何影响？

主要发现

• MolReGPT 在 10-shot 提示下的 Mol2Cap Text2Mol 分数为 0.560，超过无需微调的 MolT5-base。
• MolReGPT 在 10-shot 提示下的 Cap2Mol Text2Mol 分数为 0.571，与 MolT5（无微调）相比 Text2Mol 提升约 3%。
• 在 Mol2Cap 上，使用 10-shot 的 MolReGPT 的 GPT-3.5-turbo 在若干指标（BLEU、ROUGE、METEOR）上达到或超过微调基线。
• 对于 Cap2Mol，10-shot 提示的 MolReGPT 提供有竞争力的 BLEU 与 EM 分数，并且 Morgan FTS 与 Text2Mol 指标高于基线。
• 总体而言，MolReGPT 在所报告的子任务上超越了微调的 MolT5-base，无需任何微调。