[论文解读] A Text-guided Protein Design Framework

Shengchao Liu, Li, Yanjing+11 more|arXiv (Cornell University)|Feb 9, 2023

Machine Learning in Bioinformatics被引用 23

一句话总结

ProteinDT 是一个多模态框架，能够对齐文本和蛋白质序列，以实现文本引导的蛋白质生成、零-shot 编辑和性质预测，训练时使用 SwissProtCLAP。它在文本到蛋白质生成中的检索准确率超过 90%，并在多项零-shot 编辑任务中达到最佳命中率。

ABSTRACT

Current AI-assisted protein design mainly utilizes protein sequential and structural information. Meanwhile, there exists tremendous knowledge curated by humans in the text format describing proteins' high-level functionalities. Yet, whether the incorporation of such text data can help protein design tasks has not been explored. To bridge this gap, we propose ProteinDT, a multi-modal framework that leverages textual descriptions for protein design. ProteinDT consists of three subsequent steps: ProteinCLAP which aligns the representation of two modalities, a facilitator that generates the protein representation from the text modality, and a decoder that creates the protein sequences from the representation. To train ProteinDT, we construct a large dataset, SwissProtCLAP, with 441K text and protein pairs. We quantitatively verify the effectiveness of ProteinDT on three challenging tasks: (1) over 90% accuracy for text-guided protein generation; (2) best hit ratio on 12 zero-shot text-guided protein editing tasks; (3) superior performance on four out of six protein property prediction benchmarks.

研究动机与目标

• 将文本描述与蛋白质序列建立桥接，使设计任务不仅限于序列/结构。
• 学习联合的文本-蛋白质表征，以支持零-shot文本引导的生成与编辑。
• 开发以文本衍生表征为条件的鲁棒解码器基生成路径。
• 在文本到蛋白质生成、零-shot编辑和蛋白质性质预测方面评估框架。
• 量化相对于基线的收益，并分析数据集与评估的局限性。

提出的方法

• 使用 441K 个文本–蛋白质对构建 SwissProtCLAP，以训练跨模态表征。
• 训练 ProteinCLAP，通过对比学习（EBM-NCE/InfoNCE）对齐文本与蛋白质序列表征。
• 引入 ProteinFacilitator，在解码前将文本提示映射到蛋白质表征。
• 采用三种解码器（一个自回归 Transformer 和两个扩散模型）在条件下生成蛋白质序列。
• 使用两个下游任务：文本到蛋白质生成与零-shot文本引导编辑，以及蛋白质性质预测以提高鲁棒性。

实验结果

研究问题

• RQ1 文本描述是否能有效地与蛋白质序列对齐以引导设计任务？
• RQ2 与基线相比，文本条件编码器-解码器流水线在生成、编辑和性质预测方面的表现如何？
• RQ3 ProteinFacilitator 组件对文本到蛋白质生成准确性的影响是什么？
• RQ4 在此设置中，基于扩散的解码器与自回归模型相比表现如何？
• RQ5 文本引导的蛋白质设计的局限性与评估挑战有哪些？

主要发现

• ProteinDT 在文本到蛋白质生成中的检索准确性很高（在所报道的设置中超过 90%）。
• ProteinDT 在 10 项零-shot 文本引导的蛋白质编辑任务中取得最佳命中率。
• 带有 ProteinFacilitator 的 AR-Transformer 通常在生成任务上优于扩散变体。
• 基于 ProteinCLAP 表征的在六个蛋白质性质预测基准中的四个上表现优越。
• 定性结果显示文本驱动的编辑对结构、稳定性和肽结合具有合理影响。