[論文レビュー] Antibody Representation Learning for Drug Discovery

Lin Li, Esther Gupta+4 more|arXiv (Cornell University)|Oct 5, 2022

Monoclonal and Polyclonal Antibodies Research被引用数 8

ひとこと要約

本稿では、創薬における抗体結合親和性予測の向上を目的として、自己教師あり事前学習言語モデル、特にBERTベースの表現を用いる手法を提案する。大規模なヒト抗体配列データ上で微調整することで、従来の統計モデルや教師あり学習に比べ優れた性能を達成し、特にデータが限られた状況でも顕著な効果を示す。一般タンパク質の事前学習が、抗体特化の事前学習よりも優れた機能的表現をもたらすことが示された。

ABSTRACT

Therapeutic antibody development has become an increasingly popular approach for drug development. To date, antibody therapeutics are largely developed using large scale experimental screens of antibody libraries containing hundreds of millions of antibody sequences. The high cost and difficulty of developing therapeutic antibodies create a pressing need for computational methods to predict antibody properties and create bespoke designs. However, the relationship between antibody sequence and activity is a complex physical process and traditional iterative design approaches rely on large scale assays and random mutagenesis. Deep learning methods have emerged as a promising way to learn antibody property predictors, but predicting antibody properties and target-specific activities depends critically on the choice of antibody representations and data linking sequences to properties is often limited. Existing works have not yet investigated the value, limitations and opportunities of these methods in application to antibody-based drug discovery. In this paper, we present results on a novel SARS-CoV-2 antibody binding dataset and an additional benchmark dataset. We compare three classes of models: conventional statistical sequence models, supervised learning on each dataset independently, and fine-tuning an antibody specific pre-trained language model. Experimental results suggest that self-supervised pretraining of feature representation consistently offers significant improvement in over previous approaches. We also investigate the impact of data size on the model performance, and discuss challenges and opportunities that the machine learning community can address to advance in silico engineering and design of therapeutic antibodies.

研究の動機と目的

• 創薬における抗体結合親和性予測に、自己教師あり事前学習言語モデルの有効性を評価すること。
• 従来の統計モデル、一般的な統計モデル、および教師あり学習の性能を、抗体配列データ上で比較すること。
• 事前学習データの多様性とサイズが、下流の予測性能に与える影響を調査すること。
• 異なる抗体データセットおよび訓練データサイズにおける、学習済み表現の頑健性と一般化性能を評価すること。
• 効率的かつ効果的なモデル訓練のための最適なデータサイズの閾値を特定すること。

提案手法

• 数千万ものヒト抗体および一般タンパク質配列で事前学習されたBERTベースのトランスフォーマー・モデルを微調整すること。
• 評価に、新規に構築したSARS-CoV-2抗体結合データセットと、追加のベンチマークデータセットを用いること。
• 3つのモデルクラスを比較：従来の統計モデル（例：PSSM特徴量を用いたリッジ回帰）、各データセットごとに独立して教師あり学習を行うモデル、および微調整された事前学習済み埋め込み表現を用いるモデル。
• 特徴量を事前学習モデルから抽出し、下流の回帰タスク（例：ガウス過程回帰やリッジ回帰）に適用することで、トランスファーラーニングを実施すること。
• Pfam、ヒト抗体配列、および統合データセットを含む、事前学習データソースのアブレーションスタディを実施すること。
• 10回のランダムな訓練/検証分割を各データサイズごとに実施し、テストセットにおけるピアソン相関係数を用いてモデル性能を評価すること。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり事前学習による抗体表現の学習は、従来モデルに比べ、結合親和性予測の性能向上に寄与するか？
• RQ2 抗体特化、一般タンパク質、または多様なPfam配列といった、どの事前学習データソースが、抗体機能予測に最も効果的な表現をもたらすか？
• RQ3 訓練データセットのサイズがモデル性能に与える影響は何か？また、コスト効率の良いモデル訓練のための最適なデータサイズは何か？
• RQ4 事前学習済み表現は、データが少ない状況でも、抗体親和性予測の分散を低減し、頑健性を向上させることができるか？
• RQ5 学習済み表現は、既知の抗体機能的原則と整合する生物学的に意味のある特徴を捉えているか？

主な発見

• 抗体配列上で微調整された事前学習BERTベースのモデルは、限られた訓練データでも、従来の統計モデルおよび個別データセットごとの教師あり学習に比べ、一貫して優れた性能を示す。
• 最も優れた性能を示したモデルは、最も多様性に富んだ一般タンパク質データセット（Pfam）で事前学習されたものであり、広範な生物学的文脈が機能的表現学習を強化していることを示唆している。
• 3,200～6,400サンプルの訓練データサイズでは、性能向上の勾配が最も急になることから、効率的なデータ収集のための重要な閾値であることが示された。
• 微調整済みガウス過程回帰を用いた事前学習モデルは、ランダムなデータ分割において分散が低く、ベースラインモデルに比べて優れた性能を示し、頑健性の向上が確認された。
• 事前学習モデルから抽出したPSSM特徴量を用いて学習したモデルの性能が、PSSM特徴量を直接用いて学習したモデルを上回った。これは、表現学習の価値が顕著に示された。
• 結果から、抗体の機能的特性は、抗体配列にのみエンコードされているのではなく、事前学習中に捉えられた広範なタンパク質レベルの構造的・進化的パターンによっても規定されている可能性がある。