[论文解读] Large scale paired antibody language models

Henry Kenlay, Frédéric A. Dreyer+4 more|arXiv (Cornell University)|Mar 26, 2024

Monoclonal and Polyclonal Antibodies Research被引用 6

一句话总结

IgBert 和 IgT5 是经过配对和非配对抗体序列训练的“大型抗体专用语言模型”，旨在改进序列恢复和下游预测任务，在关键基准测试中优于现有蛋白质与抗体语言模型，且可公开用于抗体工程应用。

ABSTRACT

Antibodies are proteins produced by the immune system that can identify and neutralise a wide variety of antigens with high specificity and affinity, and constitute the most successful class of biotherapeutics. With the advent of next-generation sequencing, billions of antibody sequences have been collected in recent years, though their application in the design of better therapeutics has been constrained by the sheer volume and complexity of the data. To address this challenge, we present IgBert and IgT5, the best performing antibody-specific language models developed to date which can consistently handle both paired and unpaired variable region sequences as input. These models are trained comprehensively using the more than two billion unpaired sequences and two million paired sequences of light and heavy chains present in the Observed Antibody Space dataset. We show that our models outperform existing antibody and protein language models on a diverse range of design and regression tasks relevant to antibody engineering. This advancement marks a significant leap forward in leveraging machine learning, large scale data sets and high-performance computing for enhancing antibody design for therapeutic development.

研究动机与目标

• 以利用海量抗体测序数据来改进抗体设计与工程为动机。
• 开发能够处理成对与非成对可变区输入的抗体特定语言模型。
• 在大量非配对数据上进行预训练，并在成对重链/轻链数据上微调，以学习跨链特征。
• 在序列恢复、结合亲和力和表达预测上评估模型，并与现有抗体与蛋白质语言模型进行比较。

提出的方法

• 基于超过二十亿条来自 OAS 的非配对抗体序列，对 BERT- 与 T5-风格的模型进行预训练，并从 ProtBert/ProtT5 权重开始。
• 在 OAS 的 2,038,528 条唯一成对的重链/轻链序列上微调非配对模型，形成成对的 IgBert 与 IgT5。
• 使用掩码语言建模（MLM）目标对 BERT 和 T5，15% 掩码，T5 使用片段掩码。
• 通过将重链和轻链用分隔符记号连接来构造输入，以学习跨链特征。
• 使用混合的非配对和配对数据批次进行微调，以减缓对非配对预训练的遗忘。
• 使用测试集上的序列恢复、通过对嵌入的线性模型进行的下游结合/表达预测，以及困惑度/伪困惑度测量进行评估。

Figure 1: Overview of an antibody structure and its domains. The sequence of the variable region is used as input to the transformer encoder to obtain a residue-level embedding representation. Training is achieved through masked language modelling, where a random fraction of the input is replaced by

实验结果

研究问题

• RQ1 在大规模配对/非配对数据上训练的抗体专用语言模型是否在抗体设计任务上优于通用蛋白语言模型？
• RQ2 配对训练（重链+轻链）是否能产生跨链特征，提升结合亲和力和表达等下游预测？
• RQ3 IgBert 与 IgT5 在序列恢复和困惑度方面与现有 AbLang、AntiBERTy、以及 ProtBert/ProtT5 相比如何？
• RQ4 数据质量和配对对抗体工程任务模型性能有何影响？
• RQ5 这些模型是否能实现体内外预测的亲和力成熟等设计工作流？

主要发现

• IgBert 与 IgT5 在抗体区域，尤其在高变异的 CDRs 的序列恢复方面优于现有抗体与蛋白语言模型。
• 配对模型（IgBert、IgT5）在线性下游模型中对预测结合亲和力表现最佳，突出跨链学习的价值。
• 通用蛋白模型（ProtBert、ProtT5）在表达预测方面有时优于抗体专用模型，表明广泛的进化信息有助于某些任务。
• 以抗体专用配对模型的困惑度/伪困惑度低于通用蛋白模型，表明配对数据的序列“自然性”更高。
• 在配对数据上微调相比仅在非配对数据上进行预训练能带来显著提升，强调原生重/轻链配对的重要性。
• 作者公开提供 IgBert 与 IgT5，便于在抗体工程与设计工作流中使用。

Figure 2: Data processing and training strategy. We further pre-train the ProtT5 and ProtBert models from Elnaggar et al. ( 2022 ) on unpaired antibody sequences from OAS after clustering them with Linclust. These unpaired models are then fine-tuned on paired sequences clustered with MMseqs2, combin