[論文レビュー] Improving Antibody Humanness Prediction using Patent Data

Talip Uçar, Aubin Ramon+4 more|arXiv (Cornell University)|Jan 25, 2024

Monoclonal and Polyclonal Antibodies ResearchMedicine被引用数 3

ひとこと要約

本論文では、治療的抗体開発における免疫原性を低減するための重要な要因である抗体のヒューマンネス予測を向上させるために、特許データを活用する自己教師付き学習フレームワークSelfPADを提案する。特許関連の機能的ターゲットを用いた弱教師付きコントラスト学習を段階的に行い、その後、ヒューマンネススコアリングのためのクロスエントロピー損失によるファインチューニングを行う2段階の学習プロセスを採用することで、6つの免疫原性予測ベンチマークのうち5つで最先端の性能を達成し、優れた汎化性能と解釈可能性を示した。

ABSTRACT

We investigate the potential of patent data for improving the antibody humanness prediction using a multi-stage, multi-loss training process. Humanness serves as a proxy for the immunogenic response to antibody therapeutics, one of the major causes of attrition in drug discovery and a challenging obstacle for their use in clinical settings. We pose the initial learning stage as a weakly-supervised contrastive-learning problem, where each antibody sequence is associated with possibly multiple identifiers of function and the objective is to learn an encoder that groups them according to their patented properties. We then freeze a part of the contrastive encoder and continue training it on the patent data using the cross-entropy loss to predict the humanness score of a given antibody sequence. We illustrate the utility of the patent data and our approach by performing inference on three different immunogenicity datasets, unseen during training. Our empirical results demonstrate that the learned model consistently outperforms the alternative baselines and establishes new state-of-the-art on five out of six inference tasks, irrespective of the used metric.

研究の動機と目的

• 抗体のヒューマンネスを予測する課題に取り組むこと。これは免疫原性と薬物開発失敗の主要因である。
• 従来のOASとは異なり、抗体表現学習において未利用にされていた特許データの有用性を検証すること。16,000件を超える特許出願からの機能的関連性を活用する。
• 従来のOASを用いた手法を上回る表現学習と予測性能を向上させる多段階学習フレームワークを開発すること。
• アテンション解析を通じて、ヒューマナイゼーションのための重要なアミノ酸残基を同定することで、ヒューマンネス予測の解釈性を向上させること。
• 学習済みモデルの転移可能性を示し、免疫原性予測やヒューマナイゼーションのガイダンスといった下流タスクに応用可能であることを実証すること。

提案手法

• 本手法は2段階の学習プロセスを採用する。まず、特許出願を介して複数のターゲットに関連付けられた抗体配列を用いたコントラスト学習に基づく自己教師付き事前学習段階を実施する。
• 事前学習段階では、同一のターゲットに関連する配列をポジティブペアとして扱い、コントラスト損失を用いて潜在空間でそれらをグループ化するようにモデルを学習する。
• エンコーダーを固定した後、同じ特許データを用いてクロスエントロピー損失を用いてファインチューニングを行い、下流タスク向けのエンドツーエンド最適化を実現する。
• シーケンスエンコーダーの上にマルチレイヤーパーセプトロン（MLP）ヘッドを追加し、表現学習の向上を図るためにエンコーダーと同時に最適化する。
• ファインチューニング段階でスワップノイズおよびシフトノイズなどのデータ拡張技術を導入し、モデルのロバスト性を向上させる。
• 親株抗体とヒューマナイズド抗体の間のアテンション差分を計算することで、ヒューマナイゼーションのための重要な残基を特定し、解釈性を強化する。

(a) Pre-training

実験結果

リサーチクエスチョン

• RQ1 OASとは異なる従来のソースとは異なり、特許データを効果的に活用することで、抗体表現学習およびヒューマンネス予測の性能向上が可能かどうか。
• RQ2 コントラスト学習と教師ありファインチューニングを組み合わせた多段階・多損失学習戦略が、単一段階またはベースライン手法に比べて、ヒューマンネス予測性能を向上させるかどうか。
• RQ3 既知のヒューマナイズド配列の文脈においてアテンションマップを分析することで、生物学的に意味のあるヒューマナイゼーションのための残基を同定できるかどうか。
• RQ4 ノイズ拡張およびレイヤー再初期化の導入が、免疫原性ベンチマークにおけるモデルの汎化性能と性能に与える影響は何か。
• RQ5 モデルは未観測データセットにどの程度汎化可能であり、複数の評価指標（AUC、F1、PR AUCなど）において、既存の最先端手法を上回る性能を示せるか。

主な発見

• FT-SelfPADモデルは、25件のヒューマナイゼーションデータベンチマークにおいて、F1、リCALL、プレシジョン、正答率、ROC AUC、PR AUCが100%を達成し、すべてのベースラインを上回った。
• 217件の免疫原性データセットでは、アブレーションスタディにおいてROC AUCが82.86%、PR AUCが93.79%を記録し、最適なハイパーパrameter選択のもとで優れた性能を示した。
• PCA可視化では、非ヒューマン由来の親株抗体配列が、ヒューマナイズドおよびヒューマン由来の配列とは別に明確にクラスタリングされており、免疫原性リスクを検出できる能力を確認した。
• アテンション解析により、モデルはヒューマナイズド抗体の変異部位を高い正確性で同定でき、元のヒューマナイゼーションプロセスよりも少ない変異数を推奨する傾向を示した。
• アブレーションスタディでは、スワップおよびシフトノイズを組み合わせ、事前学習済みの4つのレイヤーを再初期化することで、性能が著しく向上し、ROC AUCが80.74%から82.86%に上昇した。
• 3つの独立した免疫原性データセットを用いた複数の評価指標（AUC、F1、PR AUC）において、6つの推論タスクのうち5つで新たな最先端性能を確立した。

(b) Fine-tuning