[論文レビュー] Deciphering antibody affinity maturation with language models and weakly supervised learning

Jeffrey A. Ruffolo, Jeffrey J. Gray+1 more|arXiv (Cornell University)|Dec 14, 2021

Monoclonal and Polyclonal Antibodies Research被引用数 91

ひとこと要約

本論文は抗体特異的言語モデル AntiBERTy を紹介し、558M の配列で訓練し、リパトア内の結合残基を特定する弱教師付き MIL フレームワークを用いている。リパトア埋め込みが適合性成熟の軌跡を明らかにし、MIL のアテンションが VRC01 クラス抗体のパラトープ残基に局在することを示している。

ABSTRACT

In response to pathogens, the adaptive immune system generates specific antibodies that bind and neutralize foreign antigens. Understanding the composition of an individual's immune repertoire can provide insights into this process and reveal potential therapeutic antibodies. In this work, we explore the application of antibody-specific language models to aid understanding of immune repertoires. We introduce AntiBERTy, a language model trained on 558M natural antibody sequences. We find that within repertoires, our model clusters antibodies into trajectories resembling affinity maturation. Importantly, we show that models trained to predict highly redundant sequences under a multiple instance learning framework identify key binding residues in the process. With further development, the methods presented here will provide new insights into antigen binding from repertoire sequences alone.

研究の動機と目的

• 抗体に焦点を当てた言語モデルを開発し、リパトア表現を学習する。
• 抗体配列の埋め込みを通じて適合性成熟の軌跡を探索する。
• 複数インスタンス学習フレームワークを用いて結合/パラトープ残基を同定する。
• MIL アテンションが VRC01 クラス抗体の既知のパラトープ領域と整合することを示す。

提案手法

• Masked language modeling を用いて 558M の非冗長抗体配列上で AntiBERTy（BERT 風のトランスフォーマーエンコーダ）を訓練する。
• AntiBERTy の埋め込みから k-NN グラフと evo-velocity 分析を構築し、リパトアの進化を研究する。
• 結合の可能性が高い（高い冗長性を持つ）配列を含むバッグを予測するために複数インスタンス学習フレームワークを使用する。
• AntiBERTy で配列をエンコードして残基ごとの埋め込みを作成し、続いてアテンションベースのプーリングと MIL 分類器を用いる。
• 64 配列のバッグで MIL モデルを訓練し、正負サンプリングを等しくし、クロスエントロピー損失を用いる。
• 結合に寄与する残基を特定するためのアテンションマップを分析し、既知の VRC01 gp120 複合体構造と比較する。

実験結果

リサーチクエスチョン

• RQ1 抗体特異的言語モデルは免疫リパトアにおける適合性成熟の軌跡を明らかにできるか？
• RQ2 AntiBERTy の埋め込みを用いた MIL フレームワークはリパトアデータからパラトープ残基を識別できるか？
• RQ3 MIL アテンションは HIV-1 VRC01 クラス抗体の既知の結合領域（パラトープ）に局在するか？
• RQ4 ドナー固有および結合リパトアの MIL モデルの定量的パフォーマンス特性はどうなるか？

主な発見

• AntiBERTy の埋め込みはリパトア埋め込みにおいて生殖系から高度に変異した誘導体への連続的な軌跡を明らかにし、適合性成熟と一致する。
• MIL モデルは高い冗長性を持つ配列を含むバッグを各ドナーで適切な精度（リコール/特異度のバランス）で識別し、いくつかのリパトアで AUROC が最大 0.96 まで達成された。
• MIL 埋め込みのアテンションマップは複数の VRC01 抗体で既知のパラトープ領域（H2 ループとそれに続くベータ鎖）に局在する。
• 単一インスタンス MIL の予測は結合文脈で十個の結晶構造解の VRC01 抗体を正しくフラグ付けし、アプローチの妥当性を裏付けた。
• 結合リパトアを統合した MIL モデルは AUROC 0.84、F1 は最大 0.77 を達成し、ドナー間での信号の移行性を示す。