[論文レビュー] On Pre-trained Language Models for Antibody

Danqing Wang, Fei Ye+1 more|arXiv (Cornell University)|Jan 28, 2023

RNA and protein synthesis mechanisms被引用数 4

ひとこと要約

本稿では、抗体のタスクにおける事前学習言語モデルの評価を、多様な特異性レベルで包括的に行う最初のベンチマークであるATUEを紹介する。また、系統的由来のゲノム由来予測と変異位置予測という、抗体特有の進化的目的関数を用いて微調整されたEATLMを提案し、一般および既存の抗体特有のモデルと比較して、特に高特異性タスクおよびSARS-CoV-2抗体の実世界での発見において優れた性能を示した。

ABSTRACT

Antibodies are vital proteins offering robust protection for the human body from pathogens. The development of general protein and antibody-specific pre-trained language models both facilitate antibody prediction tasks. However, there have been limited studies that comprehensively explore the representation capability of distinct pre-trained language models on different antibody tasks. To investigate the problem, we aim to answer several key questions in this paper, such as how pre-trained language models perform in antibody tasks with different specificity and how introducing specific biological mechanisms to the pre-training process can benefit the model. Additionally, we evaluate if the learned antibody pre-trained representations can be applied to real-world antibody problems, like drug discovery and immune process understanding. Previously, no benchmark available largely hindered the study to answer these questions. To aid in our investigation, we provide an AnTibody Understanding Evaluation (ATUE) benchmark. We comprehensively evaluate the performance of protein pre-trained language models by empirical study along with conclusions and new insights. Our ATUE and code are released at https://github.com/dqwang122/EATLM.

研究の動機と目的

• 事前学習言語モデルが抗体固有のタスクにおいて評価されるための標準化されたベンチマークの欠如に対処すること。
• 生物学的特異性レベルが異なる抗体タスクにおいて、事前学習モデルがどのように性能を発揮するかを調査すること。
• 事前学習に抗体特有の進化的メカニズム（例：ゲノム由来由来、体細胞ハイパーミューテーション）を組み込むことで、表現学習が向上するかを検討すること。
• 事前学習された抗体表現が、ドラッグディスカバリーや免疫系の理解といった実世界の応用において実用的であるかを評価すること。
• 実証的評価とアブレーションスタディーに基づき、より良い抗体表現モデルの設計に役立つ指針を提供すること。

提案手法

• 抗体のパラトープ予測、B細胞受容体分類、個別レベルの疾患診断、患者レベルの疾患分類の4つの実世界の教師ありタスクを含む、ATUEと呼ばれるベンチマークを提案。
• 系統的系統をモデル化するための「祖先ゲノム由来予測（AGP）」と、体細胞ハイパーミューテーションを模倣するための「変異位置予測（MPP）」という2つの新しい事前学習目的関数を設計。
• AGPおよびMPP目的関数を用いてマスク言語モデルによる微調整を施し、抗体特有の表現学習を強化したEATLMを訓練。
• ATUEの全タスクにおいて、一般タンパク質モデル（ESM、MSA-1b）、抗体特有モデル（AntiBERT）、および非事前学習ベースラインとを比較。
• AGPおよびMPPの各コンポonentを削除することでアブレーションスタディーを実施し、それらの個別および統合的寄与度を評価。
• 実世界のSARS-CoV-2抗体発見タスクにおいてモデルの性能を検証し、実用的応用性を評価。

実験結果

リサーチクエスチョン

• RQ1 生物学的特異性レベルが異なる抗体タスクにおいて、事前学習言語モデルの性能はどのようになるか？
• RQ2 ゲノム由来由来や体細胞ハイパーミューテーションといった、抗体特有の進化的メカニズムを事前学習に組み込むことで、表現学習が向上するか？
• RQ3 事前学習モデルが学習した表現は、治療的抗体発見や免疫プロセスの理解といった実世界の応用に一般化するか？
• RQ4 事前学習目的関数のうち、AGPおよびMPPのどちらが高特異性タスクでの性能向上に最も寄与しているか？
• RQ5 抗体の配列の機能的深層的理解が求められるタスクにおいて、一般タンパク質モデルと抗体特異的モデルの性能はどのように比較されるか？

主な発見

• ESMのような一般タンパク質言語モデルは低特異性タスクでは優れた性能を示すが、高特異性抗体タスクでは著しく性能が低下する。
• AntiBERTは高特異性タスクにおいて非事前学習モデルを一貫して上回らないことが判明し、現在の抗体特異的事前学習戦略の限界を示唆している。
• AGPおよびMPPの両目的関数を備えたEATLMは、ATUEの全タスクで最先端の性能を達成し、患者レベル診断ではSARSで0.988、HIVで0.990、エボラで1.000のAUCスコアを記録した。
• アブレーションスタディーの結果、MPPを削除すると性能が最も著しく低下し、特にSLEやMSのようなタスクではAUCがそれぞれ0.827にまで低下した。
• AGPを欠如させたEATLMでも依然として高い性能を示すため、MPPが機能的抗体特徴を捉えるためにAGPよりもより重要であることが示された。
• SARS-CoV-2抗体発見タスクにおいて、EATLMはすべてのベースラインを上回り、実世界の治療的開発における実用的有用性を実証した。