[论文解读] ABodyBuilder3: Improved and scalable antibody structure predictions

Henry Kenlay, Frédéric A. Dreyer+3 more|arXiv (Cornell University)|May 31, 2024

Monoclonal and Polyclonal Antibodies ResearchMedicine被引用 3

一句话总结

ABodyBuilder3 是一种最先进的、可扩展的抗体结构预测模型，通过整合蛋白质语言模型嵌入和学习到的 pLDDT 不确定性头，显著提升了准确性，尤其在高度可变的 CDRH3 环上表现突出。该模型在单次预测中即实现优越性能，无需计算成本高昂的集成方法，同时实现了精确的不确定性估计，并通过混合精度训练和向量化实现，实现了更快、更高效的推理。

ABSTRACT

Accurate prediction of antibody structure is a central task in the design and development of monoclonal antibodies, notably to understand both their developability and their binding properties. In this article, we introduce ABodyBuilder3, an improved and scalable antibody structure prediction model based on ImmuneBuilder. We achieve a new state-of-the-art accuracy in the modelling of CDR loops by leveraging language model embeddings, and show how predicted structures can be further improved through careful relaxation strategies. Finally, we incorporate a predicted Local Distance Difference Test into the model output to allow for a more accurate estimation of uncertainties.

研究动机与目标

• 提升抗体结构预测的准确性，特别是对关键抗原结合区域——高度多态的 CDRH3 环的预测。
• 开发一种可扩展且高效的推理流程，相比基于集成的方法显著降低计算开销。
• 用学习到的逐残基 pLDDT 分数替代基于集成的置信度估计，实现更准确、更高效的不确定性量化。
• 通过改进的数据整理、序列表征和结构优化策略，进一步提升模型性能。
• 实现高通量、高精度的治疗性抗体结构预测，以支持理性药物设计。

提出的方法

• 该模型基于 ABodyBuilder2 架构，采用八个结构模块，通过不变点注意力机制和主链坐标优化进行更新。
• 采用蛋白质语言模型嵌入（如 ProtT5）作为输入表征，以更好地捕捉序列-结构关系，尤其在 CDRH3 区域表现更优。
• 通过多层感知机与 Softmax 激活函数学习 pLDDT 头，预测逐残基置信度分数，训练目标为与真实 lDDT-Cα 分数的交叉熵损失。
• 采用混合精度（bfloat16）和向量化操作进行训练，以提升硬件利用率，加速训练与推理过程。
• 在预测后应用结构优化策略，通过细致的松弛过程进一步提升模型准确性。
• 不确定性估计直接从 pLDDT 输出获得，取代 ABodyBuilder2 中先前使用的基于集成的方法。

Figure 1: Left: Overview of an antibody structure, with the variable region and CDR loops shown. Right: Schematic representation of the ABodyBuilder3 architecture, with 8 sequential and independent update blocks providing the final atomic coordinates and uncertainty predictions from an embedding rep

实验结果

研究问题

• RQ1 蛋白质语言模型嵌入是否能显著提升抗体 CDRH3 环预测的准确性？
• RQ2 单模型 pLDDT 头是否能比基于集成的方法提供更准确、更高效的不确定性估计？
• RQ3 向量化与混合精度训练在多大程度上提升了抗体结构预测模型的可扩展性与计算效率？
• RQ4 改进的数据整理与结构优化策略在多大程度上提升了整体预测准确性？
• RQ5 pLDDT 分数是否可作为可靠阈值，用于识别高置信度预测，特别是针对 CDRH3 区域？

主要发现

• ABodyBuilder3 实现了 0.61 Å 的 CDRH3 RMSD 均值，相较于 ABodyBuilder2 的 0.57 Å 在单次预测下有显著提升。
• 采用 ProtT5 嵌入的模型（ABodyBuilder3-LM）实现 CDRH3 RMSD 为 0.73 Å，证明了先进序列表征的优势。
• 基于 pLDDT 的不确定性估计与 CDRH3 区域 RMSD 的皮尔逊相关系数达到 0.58，优于 ABodyBuilder2 中基于集成的方法。
• 使用 pLDDT 阈值 85 时，32% 的 CDRH3 结构被保留，其中超过 80% 的结构 CDRH3 RMSD 低于 2.0 Å。
• 由于采用了向量化、混合精度训练和硬件利用率优化，该模型推理速度比 ABodyBuilder2 快三倍以上。
• pLDDT 头实现了高精度的不确定性估计，且计算开销极低，无需多次模型推理。

Figure 2: Left: Structure predicted by ABodyBuilder3, with colouring indicating the pLDDT uncertainty estimate. The ground truth (7T0J) is shown in grey. Right: Distribution of CDRH3 RMSD across different bins of the CDRH3 pLDDT score.