[論文レビュー] Generative Antibody Design for Complementary Chain Pairing Sequences through Encoder-Decoder Language Model

Simon K. S. Chu, Kathy Y. Wei|arXiv (Cornell University)|Jan 6, 2023

Monoclonal and Polyclonal Antibodies ResearchMedicine被引用数 3

ひとこと要約

この論文は、321,000件のペアド抗体配列で微調整された、エンコーダ・デコーダ型のタンパク質言語モデルpAbT5を紹介している。このモデルは、相手のペアリングパートナーを条件として、補完的な抗体の重鎖または軽鎖を生成する。モデルはフレームワーク領域の保存性とハイパーバリアブルドメインの多様性を的確に捉えており、鎖のタイプと遺伝子ファミリーを正確に回復できる。これは、生成的抗体設計において生物学的制約を組み込む能力を示している。

ABSTRACT

Current protein language models (pLMs) predominantly focus on single-chain protein sequences and often have not accounted for constraints on generative design imposed by protein-protein interactions. To address this gap, we present paired Antibody T5 (pAbT5), an encoder-decoder model to generate complementary heavy or light chain from its pairing partner. We show that our model respects conservation in framework regions and variability in hypervariable domains, demonstrated by agreement with sequence alignment and variable-length CDR loops. We also show that our model captures chain pairing preferences through the recovery of ground-truth chain type and gene families. Our results showcase the potential of pAbT5 in generative antibody design, incorporating biological constraints from chain pairing preferences.

研究の動機と目的

• 既存のタンパク質言語モデルが単一鎖配列に注目し、タンパク質間相互作用における共進化的制約を無視するという限界に対処すること。
• ペアリングパートナーを条件として、構造的・機能的制約を保持した生物学的に妥当な抗体鎖を生成する生成モデルを開発すること。
• モデルがフレームワーク領域における配列保存性とハイパーバリアブルループ（CDRs）における多様性を捉えているかどうかを評価すること。
• 条件付き生成における真の鎖タイプと遺伝子ファミリーを回復できるか、モデルの能力を評価すること。
• 排他的ノード分割に基づく厳密なデータ分割を用いて、モデルの未観測配列およびペアリングへの一般化能力をテストすること。

提案手法

• モデルは、OASデータベースのペアドVH-VL配列で微調整されたT5ベースのエンコーダ・デコーダアーキテクチャを採用し、微調整中にエンコーダーの重みを固定している。
• シーケンス・ツー・シーケンス生成は、前向き翻訳（軽鎖から重鎖）とバックワード翻訳（重鎖から軽鎖）として定式化されており、鎖タイプや種別のプレフィックスやギャップトークンは使用しない。
• 239,000件の異なる抗体配列（ヒト、マウス、ラット由来）から得た321,000件の翻訳サンプルを用いて、排他的ノードパーティショニングに基づく90-5-5のトレーニング/バリエーション/テスト分割を実施。
• 微調整には、ローカルバッチサイズ8、グローバルバッチサイズ2048、初期のリーダー・レート5e-5、AdaFactor最適化法を用い、勾配クリッピングを適用。8台のA100 GPUを用いて2日間トレーニング。
• 次単語予測の信頼度、配列アラインメント、埋め込みのt-SNE可視化、ペアド配列回復におけるゼロショットパープレキシティランク付けを用いてモデル性能を評価。
• クロスアテンションマップと配列相同性/長さの比較を用いて、フレームワーク領域およびCDR領域におけるアテンションパターンと生成の正確性を分析。

実験結果

リサーチクエスチョン

• RQ1 モデルは、フレームワーク領域の保存性とハイパーバリアブルCDRループの多様性を尊重する抗体配列を生成できるか？
• RQ2 モデルは、正しい鎖タイプと遺伝子ファミリーを回復することで、鎖ペアリングの好みを捉えているか？
• RQ3 排他的ノードベースのデータ分割を用いた厳密な条件下で、モデルは未観測の抗体配列およびペアリングにどの程度一般化できるか？
• RQ4 モデルのアテンション機構は、特にフレームワーク領域と変動領域を区別する点で、生物学的意味を的確に反映しているか？
• RQ5 ゼロショット設定において、モデルの（擬似）パープレキシティがペアド配列を正確にランク付けできるか。これは機能的関連性を示唆するか？

主な発見

• モデルは、位置特異的スコア行列からの配列保存プロファイルと整合するように、保存されたフレームワーク領域で高い次単語予測信頼度を示し、ハイパーバリアブルCDRループでは不確実性が増加する。
• 生成された配列は、フレームワーク領域で観測された配列と高い相同性を示す（例：軽鎖のFR4相同性：9.94±0.36、重鎖のFR4相同性：11.00±0.00）、CDR領域では妥当な類似性を示す（例：CDR3相同性：軽鎖9.63±1.06、重鎖12.32±3.93）。
• 分類タスクにおいて鎖タイプの回復精度は55%、遺伝子ファミリーのAUROCは62%であり、ペアリング好みの効果的捕捉を示している。
• エンコーダーの隠れ状態のt-SNE可視化では、鎖タイプ、遺伝子座、IGHVファミリーごとに明確なクラスタリングが観察され、生物学的に意味のある表現を学習していることが確認された。
• ゼロショットパープレキシティランク付けにおいて、モデルは複数のデータセットでベースラインを上回り、12のデータセット全体で平均絶対スピアマン順位相関差が-0.05〜-0.15の範囲でpAbT5に有利に作用した。
• アブレーションスタディーにより、モデルの性能はデータクラスタリングに対して頑健であり、エンコーダ・デコーダアーキテクチャが正確なペアリング予測に不可欠であることが確認された。