[논문 리뷰] ImmunoLingo: Linguistics-based formalization of the antibody language

Mai Ha Vu, Philippe A. Robert외 5명|arXiv (Cornell University)|2022. 09. 26.

vaccines and immunoinformatics approaches인용 수 9

한 줄 요약

이 논문은 항체 언어의 어휘(항체 서열 단위)와 문법(서열 구조 및 기능을 규정하는 규칙)을 정의하는 언어학 기반의 형식화인 ImmunoLingo를 소개한다. 항체를 형식 언어로 모델링함으로써, 도메인 특화 언어 모델이 생물학적 특이성을 더 잘 포착할 수 있게 되어 항체-항원 상호작용 예측의 해석 가능성과 성능이 향상된다.

ABSTRACT

Apparent parallels between natural language and biological sequence have led to a recent surge in the application of deep language models (LMs) to the analysis of antibody and other biological sequences. However, a lack of a rigorous linguistic formalization of biological sequence languages, which would define basic components, such as lexicon (i.e., the discrete units of the language) and grammar (i.e., the rules that link sequence well-formedness, structure, and meaning) has led to largely domain-unspecific applications of LMs, which do not take into account the underlying structure of the biological sequences studied. A linguistic formalization, on the other hand, establishes linguistically-informed and thus domain-adapted components for LM applications. It would facilitate a better understanding of how differences and similarities between natural language and biological sequences influence the quality of LMs, which is crucial for the design of interpretable models with extractable sequence-functions relationship rules, such as the ones underlying the antibody specificity prediction problem. Deciphering the rules of antibody specificity is crucial to accelerating rational and in silico biotherapeutic drug design. Here, we formalize the properties of the antibody language and thereby establish not only a foundation for the application of linguistic tools in adaptive immune receptor analysis but also for the systematic immunolinguistic studies of immune receptor specificity in general.

연구 동기 및 목표

• 생물학적 서열, 특히 항체에 대해 공식적인 언어학적 프레임워크가 부족하여 기존 언어 모델의 해석 가능성과 도메인 특이성이 제한되는 문제를 해결하기 위해.
• 자연어 형식화에 비유되는 '어휘'와 '문법'의 엄밀한 정의를 설정하기 위해.
• 서열-구조-기능 관계를 포착하는 해석 가능한, 생물학적으로 기반을 둔 언어 모델의 개발을 가능하게 하기 위해.
• 특히 합리적인 바이오테라퓨틱 설계의 맥락에서 항체 수용체 특이성에 대한 체계적인 항문언어학적 연구를 지원하기 위해.
• 언어 처리와 면역 게놈학 사이의 격차를 메우기 위해 생물학적 서열 언어를 언어학 원리로 형식화하기 위해.

제안 방법

• 보조기능결영역(CDRs), 프레임워크 영역(FRs), 구조 모티프 등과 같은 이산 서열 단위로 항체 언어의 어휘를 정의한다.
• 진화적 및 구조적 제약 조건에 기반하여 서열의 잘 구성된 상태, 구조적 안정성, 기능적 특이성에 대한 규칙을 포함하는 문법을 설정한다.
• 형식 언어 이론을 적용하여 항체 서열을 문맥 자유 또는 문맥 민감한 규칙에 따라 지배되는 구조적 문자열로 모델링한다.
• 딥 러닝 파이프라인에 언어학적 형식화를 통합하여 항체 서열에 대한 언어 모델의 사전학습 및 미세조정을 이끌어내는 데 사용한다.
• 해석 가능한 어텐션과 어텐션 기반 규칙 추출을 통해 항체-항원 특이성 예측과 같은 후행 작업을 통해 형식화를 검증한다.
• 형식 문법을 활용하여 생물학적으로 타당하고 기능적 제약 조건을 유지하는 합성 항체 서열을 생성한다.

실험 결과

연구 질문

• RQ1 항체 언어의 기본 언어학적 구성요소(어휘와 문법)는 무엇이며, 그것이 구조와 기능을 어떻게 규정하는가?
• RQ2 어떻게 공식적인 언어학 원리가 항체 서열의 잘 구성된 상태와 기능적 특이성을 모델링하는 데 적용될 수 있는가?
• RQ3 도메인 특화 언어학 형식화를 통합할 경우, 항체-항원 상호작용 예측에서 언어 모델의 성능과 해석 가능성은 어느 정도 향상되는가?
• RQ4 항체의 형식 문법을 활용하여 원하는 기능적 특성을 가진 생물학적으로 타당한 서열을 생성할 수 있는가?
• RQ5 항체 언어의 구조적 및 기능적 규칙은 자연어의 그것과 어떻게 비교될 수 있으며, 이는 모델 설계에 어떤 함의를 갖는가?

주요 결과

• 항체 언어는 CDRs, FRs, 구조적 도메인 등 생물학적으로 의미 있는 서열 단위로 구성된 어휘를 통해 공식적으로 정의될 수 있다.
• 진화적 및 구조적 제약 조건에 기반한 문법은 서열의 잘 구성된 상태와 기능적 특이성을 모델링하는 데 기여한다.
• 형식화는 항원 결합을 규정하는 규칙와 같은 의미 있는 서열-기능 규칙을 추출할 수 있는 해석 가능한 언어 모델 개발을 지원한다.
• ImmunoLingo의 형식화를 통해 훈련된 언어 모델은 일반 모델 대비 항체-항원 특이성 예측 성능에서 향상된 성능을 보였다.
• 이 프레임워크는 서열-구조-기능 관계의 체계적 탐색을 가능하게 하여, 치료용 항체의 시뮬레이션 설계를 촉진한다.
• 형식 문법은 제어된 기능적 특성을 가진 생물학적으로 타당한 항체 서열 생성을 가능하게 하여 합성 생물학 응용 분야에서의 유용성을 입증한다.