[论文解读] BioT5+: Towards Generalized Biological Understanding with IUPAC Integration and Multi-task Tuning

Qizhi Pei, Lijun Wu+7 more|arXiv (Cornell University)|Feb 27, 2024

Chemical Reactions and Isotopes被引用 4

一句话总结

BioT5+ 通过整合 IUPAC 名称、多任务指令微调和数值标记化，增强了生物语言建模能力，在 21 个基准上的 15 种多样化任务中显著提升了泛化性能。其在分类、回归和生成任务中均达到最先进水平，尤其在基于描述的蛋白质设计任务中表现卓越，normalized Smith-Waterman 得分为 0.972。

ABSTRACT

Recent research trends in computational biology have increasingly focused on integrating text and bio-entity modeling, especially in the context of molecules and proteins. However, previous efforts like BioT5 faced challenges in generalizing across diverse tasks and lacked a nuanced understanding of molecular structures, particularly in their textual representations (e.g., IUPAC). This paper introduces BioT5+, an extension of the BioT5 framework, tailored to enhance biological research and drug discovery. BioT5+ incorporates several novel features: integration of IUPAC names for molecular understanding, inclusion of extensive bio-text and molecule data from sources like bioRxiv and PubChem, the multi-task instruction tuning for generality across tasks, and a numerical tokenization technique for improved processing of numerical data. These enhancements allow BioT5+ to bridge the gap between molecular representations and their textual descriptions, providing a more holistic understanding of biological entities, and largely improving the grounded reasoning of bio-text and bio-sequences. The model is pre-trained and fine-tuned with a large number of experiments, including \emph{3 types of problems (classification, regression, generation), 15 kinds of tasks, and 21 total benchmark datasets}, demonstrating the remarkable performance and state-of-the-art results in most cases. BioT5+ stands out for its ability to capture intricate relationships in biological data, thereby contributing significantly to bioinformatics and computational biology. Our code is available at \url{https://github.com/QizhiPei/BioT5}.

研究动机与目标

• 为解决现有生物语言模型中缺乏对 IUPAC 名称的建模问题，从而限制了对分子结构在自然语言上下文中的理解。
• 通过用统一的多任务指令微调框架替代任务特定的微调，提升模型在多样化生物任务中的泛化能力。
• 通过引入一种新颖的数值标记化方法，提升回归性能，以更好地处理分子性质预测任务。
• 通过整合来自 bioRxiv 和 PubMed 的大量生物文本，以及来自 PubChem 的高质量分子，扩展预训练数据范围。
• 实现基于指令的、有依据的生物序列生成，例如生成符合特定功能描述的蛋白质。

提出的方法

• 将 IUPAC 名称集成到 BioT5 框架中，使正式的分子表示（如 SELFIES）与科学文献中发现的自然语言描述对齐。
• 通过 120 万条来自 bioRxiv 和 PubMed 的生物文本，以及 150 万条来自 PubChem 的分子，扩展预训练数据，以增强上下文和结构知识。
• 在 15 种多样化生物任务（包括分类、回归和文本到序列生成）上应用多任务指令微调，以提升零样本和少样本泛化能力。
• 提出一种新颖的数值标记化技术，将数值（如 pIC50、logP）分离并编码，以提升模型在回归任务中的性能。
• 在涵盖药物发现、蛋白质功能预测和序列生成的 21 个基准数据集上，使用统一的 T5 基架构对模型进行微调。
• 使用归一化 Smith-Waterman 对齐得分评估蛋白质序列生成质量，确保与真实序列的稳健比较。

实验结果

研究问题

• RQ1 将 IUPAC 名称整合到生物语言模型中，是否能提升其在自然语言上下文中对分子结构的理解？
• RQ2 多任务指令微调是否在多样化生物 NLP 任务的泛化能力方面优于任务特定微调？
• RQ3 新颖的数值标记化策略是否能显著提升生物序列和生物文本中回归任务的性能？
• RQ4 通过整合科学文献和分子数据库扩展预训练数据，能在多大程度上提升模型性能和推理能力？
• RQ5 与现有模型相比，该模型基于功能描述生成生物上合理的蛋白质序列的能力如何？

主要发现

• BioT5+ 在 21 个基准数据集中的 18 个上实现了最先进性能，涵盖分类、回归和生成任务。
• 在基于描述的蛋白质设计任务中，BioT5+ 达到 0.972 的归一化 Smith-Waterman 得分，显著优于 Galactica（0.109）和 Mol-Instructions（0.428）。
• 由于其专门设计的数值标记化方法，该模型在回归任务中表现出强大的零样本泛化能力。
• 多任务指令微调使模型无需任务特定微调即可在 15 种不同任务中表现良好，降低了训练成本并提升了适应性。
• IUPAC 名称的整合增强了模型将文本描述与分子结构关联的能力，提升了生物文本中基于依据的推理能力。
• 在第二个蛋白质设计基准上，BioT5+ 达到 0.916 的归一化 SW 得分，优于 Mol-Instructions（0.328）和 Galactica（0.119）。