[論文レビュー] ABodyBuilder3: Improved and scalable antibody structure predictions

Henry Kenlay, Frédéric A. Dreyer+3 more|arXiv (Cornell University)|May 31, 2024

Monoclonal and Polyclonal Antibodies ResearchMedicine被引用数 3

ひとこと要約

ABodyBuilder3 は、タンパク質言語モデルの埋め込みと学習された pLDDT 不確実性ヘッドを統合することで、特に可変性の高い CDRH3 ロープの予測精度を向上させる最先端でスケーラブルな抗体構造予測モデルである。単一の予測で優れた性能を達成し、計算コストの高いアンサンブルを不要にするとともに、混合精度学習とベクトル化実装により、より高速で効率的な推論と正確な不確実性推定を実現する。

ABSTRACT

Accurate prediction of antibody structure is a central task in the design and development of monoclonal antibodies, notably to understand both their developability and their binding properties. In this article, we introduce ABodyBuilder3, an improved and scalable antibody structure prediction model based on ImmuneBuilder. We achieve a new state-of-the-art accuracy in the modelling of CDR loops by leveraging language model embeddings, and show how predicted structures can be further improved through careful relaxation strategies. Finally, we incorporate a predicted Local Distance Difference Test into the model output to allow for a more accurate estimation of uncertainties.

研究の動機と目的

• 抗体構造予測の精度を向上させること、特に抗原結合に重要な高配列多様性を示す CDRH3 ロープの予測精度を向上させること。
• アンサンブルベースの手法と比較して計算負荷を低減するスケーラブルで効率的な推論パイプラインを開発すること。
• アンサンブルベースの信頼性推定を置き換え、より正確で効率的な不確実性評価が可能な各残基ごとの学習済み pLDDT スコアを導入すること。
• 改善されたデータキュレーション、配列表現、構造精錬戦略を通じてモデル性能を向上させること。
• リード化合物設計のための高スループットかつ高精度な治療的抗体構造の予測を可能にすること。

提案手法

• モデルは、ABodyBuilder2 アーキテクチャに基づく8つの構造モジュールを採用し、インvariantポイントアテンションとボディコORDレートの精錬により更新される。
• CDRH3 に対するより良いシーケンス-構造関係の捉え込みを図るため、タンパク質言語モデルの埋め込み（例：ProtT5）を入力表現として採用する。
• 多層パーセプトロンとソフトマックス活性化関数を用いた学習済み pLDDT ヘッドが、正解の lDDT-Cα スコアとの交差エントロピー損失を最適化することで、各残基の信頼性スコアを予測する。
• ハードウェア利用効率の向上と学習・推論の高速化を図るため、混合精度（bfloat16）とベクトル化演算を用いてモデルを学習する。
• 予測後、精度をさらに向上させるために、慎重なリラクゼーション戦略を用いた構造精錬を適用する。
• 不確実性推定は、pLDDT の出力から直接得られ、ABodyBuilder2 で用いられていたアンサンブルベースのアプローチに置き換えられる。

Figure 1: Left: Overview of an antibody structure, with the variable region and CDR loops shown. Right: Schematic representation of the ABodyBuilder3 architecture, with 8 sequential and independent update blocks providing the final atomic coordinates and uncertainty predictions from an embedding rep

実験結果

リサーチクエスチョン

• RQ1 タンパク質言語モデルの埋め込みは、抗体における CDRH3 ロープ予測の精度を顕著に向上させることができるか？
• RQ2 単一モデルの pLDDT ヘッドは、アンサンブルベースの手法と比較して、より正確で効率的な不確実性推定を可能にするか？
• RQ3 ベクトル化と混合精度学習は、抗体構造予測モデルのスケーラビリティと計算効率をどのように向上させるか？
• RQ4 改善されたデータキュレーションと構造精錬は、全体の予測精度をどの程度向上させるか？
• RQ5 pLDDT スコアは、特に CDRH3 に対して信頼性の高い予測を特定するための有効なしきい値として機能するか？

主な発見

• ABodyBuilder3 は、単一予測で平均 CDRH3 RMSD 0.61 Å を達成し、ABodyBuilder2 の 0.57 Å と比較して顕著な向上を示した。
• ProtT5 埋め込みを用いたモデル（ABodyBuilder3-LM）は、CDRH3 RMSD 0.73 Å を達成し、高度なシーケンス表現の利点を示した。
• pLDDT に基づく不確実性推定は、CDRH3 領域全体で RMSD とピアソン相関係数 0.58 を示し、ABodyBuilder2 のアンサンブルベース手法を上回った。
• pLDDT のしきい値を 85 に設定した場合、CDRH3 構造の 32% が保持され、そのうち 80% 以上が CDRH3 RMSD 2.0 Å 未満であった。
• ベクトル化と混合精度学習、最適化されたハードウェア利用により、ABodyBuilder2 よりも 3 倍以上高速に動作した。
• pLDDT ヘッドにより、最小限の計算オーバーヘッドで正確な不確実性推定が可能となり、複数回のモデル推論の必要がなくなった。

Figure 2: Left: Structure predicted by ABodyBuilder3, with colouring indicating the pLDDT uncertainty estimate. The ground truth (7T0J) is shown in grey. Right: Distribution of CDRH3 RMSD across different bins of the CDRH3 pLDDT score.