[论文解读] ImmunoLingo: Linguistics-based formalization of the antibody language

Mai Ha Vu, Philippe A. Robert+5 more|arXiv (Cornell University)|Sep 26, 2022

vaccines and immunoinformatics approaches被引用 9

一句话总结

本文提出了 ImmunoLingo，一种基于语言学的抗体语言形式化方法，定义了其词汇表（抗体序列单元）和语法（控制序列结构与功能的规则）。通过将抗体建模为一种形式语言，该框架使领域特定的语言模型能够更好地捕捉生物学特异性，从而在预测抗体-抗原相互作用方面提升可解释性与性能。

ABSTRACT

Apparent parallels between natural language and biological sequence have led to a recent surge in the application of deep language models (LMs) to the analysis of antibody and other biological sequences. However, a lack of a rigorous linguistic formalization of biological sequence languages, which would define basic components, such as lexicon (i.e., the discrete units of the language) and grammar (i.e., the rules that link sequence well-formedness, structure, and meaning) has led to largely domain-unspecific applications of LMs, which do not take into account the underlying structure of the biological sequences studied. A linguistic formalization, on the other hand, establishes linguistically-informed and thus domain-adapted components for LM applications. It would facilitate a better understanding of how differences and similarities between natural language and biological sequences influence the quality of LMs, which is crucial for the design of interpretable models with extractable sequence-functions relationship rules, such as the ones underlying the antibody specificity prediction problem. Deciphering the rules of antibody specificity is crucial to accelerating rational and in silico biotherapeutic drug design. Here, we formalize the properties of the antibody language and thereby establish not only a foundation for the application of linguistic tools in adaptive immune receptor analysis but also for the systematic immunolinguistic studies of immune receptor specificity in general.

研究动机与目标

• 为解决缺乏针对生物序列、特别是抗体的形式语言框架的问题，该问题限制了现有语言模型的可解释性与领域特异性。
• 建立抗体语言‘词汇表’与‘语法’的严格定义，类比自然语言的形式化方法。
• 支持开发可解释、基于生物学原理的语言模型，以捕捉适应性免疫受体中序列-结构-功能之间的关系。
• 支持对免疫受体特异性的系统性免疫语言学研究，特别是在理性生物治疗设计背景下的应用。
• 通过运用语言学原则形式化生物序列语言，弥合自然语言处理与免疫基因组学之间的鸿沟。

提出的方法

• 将抗体语言的词汇表定义为离散的序列单元，如互补决定区（CDRs）、框架区（FRs）和结构基序。
• 基于进化与结构约束，制定编码序列合法性、结构稳定性和功能特异性的语法规则。
• 应用形式语言理论，将抗体序列建模为受上下文无关或上下文相关规则约束的结构化字符串。
• 将语言学形式化整合至深度学习流程中，指导抗体序列上语言模型的预训练与微调。
• 通过下游任务（如抗体-抗原特异性预测）验证形式化效果，结合可解释注意力机制与基于注意力的规则提取。
• 利用形式语法规则生成保留生物学合理性与功能约束的合成抗体序列。

实验结果

研究问题

• RQ1 构成抗体语言的基本语言学组件（词汇表与语法）是什么？它们如何定义抗体的结构与功能？
• RQ2 形式语言学原则如何应用于建模抗体序列的合法性与功能特异性？
• RQ3 在预测抗体-抗原相互作用时，引入领域特定的语言学形式化在多大程度上提升了语言模型的性能与可解释性？
• RQ4 抗体的形式语法能否用于生成具有所需功能特性的生物上合理的序列？
• RQ5 抗体语言的结构与功能规则与自然语言规则相比有何异同？这对模型设计有何启示？

主要发现

• 抗体语言可通过包含 CDRs、FRs 和结构域等生物意义明确的序列单元的词汇表实现形式化定义。
• 基于进化与结构约束的语法可实现对序列合法性与功能特异性的建模。
• 该形式化支持开发可解释的语言模型，能够提取如抗原结合等有意义的序列-功能规则。
• 采用 ImmunoLingo 形式化的语言模型在预测抗体-抗原特异性方面，性能优于通用模型。
• 该框架支持对序列-结构-功能关系的系统性探索，促进治疗性抗体的计算机模拟设计。
• 形式语法规则可生成具有可控功能特性的生物上合理的抗体序列，展示了在合成生物学应用中的实用性。