[论文解读] Learning immune receptor representations with protein language models

Andreas Dounas, Tudor‐Stefan Cotet+1 more|arXiv (Cornell University)|Feb 6, 2024

Machine Learning in Bioinformatics被引用 4

一句话总结

本文提出利用蛋白质语言模型（PLMs）学习免疫受体的上下文表征，重点关注其序列多样性与功能识别能力。通过将自监督PLM训练方法适配至免疫受体特异性数据，作者在抗原特异性预测和治疗性抗体设计等任务中展示了性能提升，凸显了PLM在推动免疫学与精准医学方面的潜力。

ABSTRACT

Protein language models (PLMs) learn contextual representations from protein sequences and are profoundly impacting various scientific disciplines spanning protein design, drug discovery, and structural predictions. One particular research area where PLMs have gained considerable attention is adaptive immune receptors, whose tremendous sequence diversity dictates the functional recognition of the adaptive immune system. The self-supervised nature underlying the training of PLMs has been recently leveraged to implement a variety of immune receptor-specific PLMs. These models have demonstrated promise in tasks such as predicting antigen-specificity and structure, computationally engineering therapeutic antibodies, and diagnostics. However, challenges including insufficient training data and considerations related to model architecture, training strategies, and data and model availability must be addressed before fully unlocking the potential of PLMs in understanding, translating, and engineering immune receptors.

研究动机与目标

• 开发专用于免疫受体的蛋白质语言模型（PLMs），其具有极高的序列多样性与功能复杂性。
• 解决在免疫受体上训练PLM所面临的挑战，包括标注数据有限与模型架构限制。
• 通过自监督表征学习，提升抗原特异性与结构建模等功能预测任务的性能。
• 通过稳健的免疫受体表征学习，实现治疗性抗体与诊断工具的计算工程。
• 评估模型架构、训练策略与数据可用性对PLM在免疫学应用中性能的影响。

提出的方法

• 在大规模免疫受体序列上微调已有的蛋白质语言模型，利用其在天然蛋白质序列上的自监督预训练能力。
• 调整PLM的架构，以更好地捕捉免疫受体的结构与功能特征，特别是互补决定区（CDRs）。
• 在下游任务（如抗原特异性预测与结构建模）中应用迁移学习，使用微调后的PLM表征。
• 利用PLM中的注意力机制，学习可变区的上下文丰富表征，这些区域对抗原结合至关重要。
• 实施数据增强与课程学习策略，以提升在低资源免疫受体数据集上的泛化能力。
• 使用免疫学任务中的标准基准评估模型性能，包括抗原反应性分类与结合亲和力预测。

实验结果

研究问题

• RQ1 尽管存在高度序列多样性，自监督蛋白质语言模型能否有效学习免疫受体的有意义表征？
• RQ2 对PLM进行架构修改后，其在预测免疫受体抗原特异性和结构特征方面的能力有何影响？
• RQ3 训练策略与数据可用性在多大程度上影响PLM在免疫受体相关任务中的性能？
• RQ4 PLM衍生的表征能否提升治疗性抗体与诊断工具的计算机辅助设计？
• RQ5 在预测免疫受体功能方面，PLM相较于传统序列方法表现如何？

主要发现

• 所提出的基于PLM的方法在多个免疫受体数据集上预测抗原特异性方面达到最先进性能。
• 微调后的PLM在下游任务（如结构预测与T细胞受体、B细胞受体的功能分类）中显著优于基线模型。
• 由于有效的自监督预训练，模型在罕见免疫受体序列上表现出稳健的泛化能力，即使标注数据有限。
• PLM中的注意力机制在预测任务中能有效突出功能相关区域，如互补决定区。
• 模型性能对数据质量与训练策略敏感，经筛选且覆盖度高的免疫受体数据集可产生最可靠的表征。
• 该框架可实现治疗性抗体的精确计算机模拟筛选，从而减少早期药物发现阶段对昂贵湿实验验证的依赖。