[论文解读] Antibody Representation Learning for Drug Discovery

Lin Li, Esther Gupta+4 more|arXiv (Cornell University)|Oct 5, 2022

Monoclonal and Polyclonal Antibodies Research被引用 8

一句话总结

本文提出使用自监督预训练的语言模型，特别是基于BERT的表征，以改进药物发现中的抗体结合亲和力预测。通过对大规模人源抗体序列进行微调，该方法在数据有限的情况下，性能优于传统统计模型和监督学习方法，表明通用蛋白预训练所获得的表征优于抗体系特定预训练所获得的表征。

ABSTRACT

Therapeutic antibody development has become an increasingly popular approach for drug development. To date, antibody therapeutics are largely developed using large scale experimental screens of antibody libraries containing hundreds of millions of antibody sequences. The high cost and difficulty of developing therapeutic antibodies create a pressing need for computational methods to predict antibody properties and create bespoke designs. However, the relationship between antibody sequence and activity is a complex physical process and traditional iterative design approaches rely on large scale assays and random mutagenesis. Deep learning methods have emerged as a promising way to learn antibody property predictors, but predicting antibody properties and target-specific activities depends critically on the choice of antibody representations and data linking sequences to properties is often limited. Existing works have not yet investigated the value, limitations and opportunities of these methods in application to antibody-based drug discovery. In this paper, we present results on a novel SARS-CoV-2 antibody binding dataset and an additional benchmark dataset. We compare three classes of models: conventional statistical sequence models, supervised learning on each dataset independently, and fine-tuning an antibody specific pre-trained language model. Experimental results suggest that self-supervised pretraining of feature representation consistently offers significant improvement in over previous approaches. We also investigate the impact of data size on the model performance, and discuss challenges and opportunities that the machine learning community can address to advance in silico engineering and design of therapeutic antibodies.

研究动机与目标

• 评估自监督预训练语言模型在药物发现中预测抗体结合亲和力的有效性。
• 比较预训练模型、传统统计模型和监督学习在抗体序列数据上的性能表现。
• 研究预训练数据的多样性与规模对下游预测性能的影响。
• 评估所学表征在不同抗体数据集和训练数据规模下的鲁棒性与泛化能力。
• 识别在抗体性质预测中实现高效且有效模型训练的最优数据量阈值。

提出的方法

• 在数千万个人源抗体和通用蛋白序列上预训练的基于BERT的Transformer模型进行微调。
• 使用一个新型的SARS-CoV-2抗体结合数据集和另一个基准数据集进行评估。
• 比较三类模型：传统统计模型（如基于PSSM特征的岭回归）、在每个数据集上独立进行的监督学习，以及微调后的预训练嵌入表征。
• 通过从预训练模型中提取特征并应用于下游回归任务（如高斯过程或岭回归）实现迁移学习。
• 对预训练数据来源进行消融研究，包括Pfam、人源抗体序列以及组合数据集。
• 通过在不同训练集大小下使用皮尔逊相关系数评估测试集性能，并对每种大小进行10次随机训练/验证划分。

实验结果

研究问题

• RQ1 与传统模型相比，抗体表征的自监督预训练是否能提升结合亲和力预测的性能？
• RQ2 在抗体特异性、通用蛋白或多样化Pfam序列中，哪种预训练数据来源能产生最有效的抗体功能预测表征？
• RQ3 训练数据集的大小如何影响模型性能？实现成本效益最优的模型训练的最优数据量是多少？
• RQ4 预训练表征是否能降低低数据场景下抗体亲和力预测的方差并提升鲁棒性？
• RQ5 所学表征是否捕捉了与已知抗体功能原理一致的生物意义特征？

主要发现

• 在抗体序列上微调预训练的BERT模型，其性能始终优于传统统计模型和在单个数据集上独立训练的监督学习模型，尤其是在训练数据有限的情况下。
• 表现最佳的模型是在最多样化和通用的蛋白数据集（Pfam）上预训练的，表明更广泛的生物学背景有助于功能表征的学习。
• 当训练数据量在3,200至6,400个样本之间时，性能提升最为显著，表明这是高效数据整理的关键阈值。
• 使用微调高斯过程回归的预训练模型在不同随机数据划分中表现出更低的方差和优于基线模型的性能，表明其鲁棒性更强。
• 基于预训练模型提取的PSSM特征训练的模型，其性能优于直接基于PSSM特征训练的模型，凸显了表征学习的价值。
• 结果表明，抗体功能特性并非仅编码于抗体序列本身，而是通过预训练过程中捕捉到的更广泛的蛋白质结构与进化模式所共同决定。