[论文解读] Mol-Instructions: A Large-Scale Biomolecular Instruction Dataset for Large Language Models

Yin Fang, Xiaozhuan Liang+6 more|arXiv (Cornell University)|Jun 13, 2023

Machine Learning in Materials Science被引用 38

一句话总结

Mol-Instructions 提供一个面向大型语言模型的生物分子指令数据集，涵盖分子、蛋白质及生物分子文本导向的任务，并通过在多种模型上的指令微调展示了改进。它公开可用于持续的研究，并会定期更新。

ABSTRACT

Large Language Models (LLMs), with their remarkable task-handling capabilities and innovative outputs, have catalyzed significant advancements across a spectrum of fields. However, their proficiency within specialized domains such as biomolecular studies remains limited. To address this challenge, we introduce Mol-Instructions, a comprehensive instruction dataset designed for the biomolecular domain. Mol-Instructions encompasses three key components: molecule-oriented instructions, protein-oriented instructions, and biomolecular text instructions. Each component aims to improve the understanding and prediction capabilities of LLMs concerning biomolecular features and behaviors. Through extensive instruction tuning experiments on LLMs, we demonstrate the effectiveness of Mol-Instructions in enhancing large models' performance in the intricate realm of biomolecular studies, thus fostering progress in the biomolecular research community. Mol-Instructions is publicly available for ongoing research and will undergo regular updates to enhance its applicability.

研究动机与目标

• 推动创建一个专门的生物分子指令数据集，以填补LLMs的空缺。
• 用三个核心组件构建 Mol-Instructions：面向分子的指令、面向蛋白质的指令，以及生物分子文本指令。
• 在多种基线模型上通过对 Mol-Instructions 的指令微调，展示对 LLMs 的有效性。
• 公开访问数据集并概述未来的改进，以拓宽适用性。

提出的方法

• 通过混合构建方法（自我指令、自模板转换和人工撰写描述）汇集超过 2 百万条跨三个领域的生物分子指令。
• 实现人机协作，使用 GPT-3.5-turbo 生成多样化的任务描述，并进行人工质量检查。
• 从标准生物化学数据库和 PubMed 获取数据；通过数据挖掘和 AI 辅助生成来推导输入/输出、QA 对和设计指令。
• 使用模板将生物数据转换为文本格式，包括基于 UniProtKB 的蛋白质设计注释，以满足用户指定的目标。
• apply 严格的质量控制：将 SMILES 替换为 SELFIES 以处理分子，用 UniProtKB 条目进行整理，并以 90% 相似度使用 MMseqs 对蛋白质进行聚类以降低冗余。
• 在 LLama-7B 以及其他基线模型上针对三个指令领域通过指令微调进行评估，使用训练/验证/测试集划分。

实验结果

研究问题

• RQ1 Mol-Instructions 是否在生物分子理解和生成任务上相较基线提升了 LLM 的性能？
• RQ2 分子、蛋白质和文本导向的指令如何在各自任务中带来改进？
• RQ3 生成的蛋白质设计和分子描述是否与已知的功能或结构注释相符？
• RQ4 数据集构建选择（自我指令、模板、人工撰写描述）对模型性能有何影响？

主要发现

• 与基线相比，Mol-Instructions 在评估模型和指标上的分子理解任务取得显著提升。
• 数据使分子性质预测和生成任务的性能提升，生成的分子与参考结构的相似性更高。
• 在蛋白相关任务中，经过微调的模型能够识别基本蛋白特征并将 de novo 设计与 UniProtKB 注释对齐，表明功能相关性。
• Mol-Instructions 提升了生物分子自然语言处理任务的性能，包括信息抽取和生物信息学情境下的问答。
• 与领域内的小型专用模型相比，使用 Mol-Instructions 训练的大模型在专门化生成上仍有差距，但在更广泛的领域理解方面有所提升。