[論文レビュー] AntiBARTy Diffusion for Property Guided Antibody Design

Jordan Venderley|arXiv (Cornell University)|Sep 22, 2023

Monoclonal and Polyclonal Antibodies ResearchMedicine被引用数 3

ひとこと要約

本稿では、抗体特異的BARTベースの言語モデル（AntiBARTy）と特性条件付き拡散モデルを組み合わせた新規生成フレームワーク、AntiBARTy Diffusionを提案する。凍結された潜在表現を用い、分類器フリーのガイドランスを適用することで、固定編集予算に依存せず、より高いin-silico溶解度を示す新規で妥当な抗体を生成し、同時に配列多様性と妥当性を維持した。これは、固定編集予算を必要としない効果的な特性誘導生成を実現した。

ABSTRACT

Over the past decade, antibodies have steadily grown in therapeutic importance thanks to their high specificity and low risk of adverse effects compared to other drug modalities. While traditional antibody discovery is primarily wet lab driven, the rapid improvement of ML-based generative modeling has made in-silico approaches an increasingly viable route for discovery and engineering. To this end, we train an antibody-specific language model, AntiBARTy, based on BART (Bidirectional and Auto-Regressive Transformer) and use its latent space to train a property-conditional diffusion model for guided IgG de novo design. As a test case, we show that we can effectively generate novel antibodies with improved in-silico solubility while maintaining antibody validity and controlling sequence diversity.

研究の動機と目的

• 目的の生体物理的特性へ向かってシーケンス生成を誘導する、計算的に効率的でin-silicoな新規抗体設計アプローチの開発。
• 大規模な抗体配列データと深層生成モデルを活用することで、従来の湿式実験中心の発見手法の限界を克服すること。
• 固定編集予算に依存せず、挿入・欠失（indels）を自然に組み込める可変長シーケンス生成を可能にすること。これは、アフィニティ成熟に不可欠である。
• 構造的・ゲノム由来の同一性を保持したまま、in-silico溶解度スコアを条件付けたことで、抗体の開発可能性を向上させること。
• 凍結された言語モデル潜在表現を拡散ベース生成の事前分布として用いる可能性を実証すること。

提案手法

• OASから得た2億5400万本のヒトIgGヘビーチェーンおよび3億4200万本のライトチェーンに加え、UniProtKBから2800万本を用い、マスキング、削除、挿入、埋め込みによるシーケンス破損を伴う、抗体特異的BARTスタイル変換器（AntiBARTy）の事前学習。
• AntiBARTyの凍結エンコーダーを用いて抗体配列からの潜在埋め込みを抽出し、抗体配列空間に強い事前分布を形成する。
• これらの凍結潜在表現上で条件付き拡散モデルを学習し、Protein-Solによるin-silico溶解度スコアを特性ガイドランスとして用い、分類器フリーのガイドランスにより別個の識別器を訓練する必要を回避する。
• 低溶解度（<0.45）と高溶解度（>0.7）のクラスに応じたクラス条件付き埋め込みを用い、クラスの不均衡を補うためにアップサンプリングを実施。
• 分類器フリーのガイドランスを用いて、AntiBARTyの潜在空間内でランダムな潜在ベクトルをノイズ除去し、温度0.1でのGumbelサンプリングを用いてグリーディにデコードすることで、新たな配列を生成する。
• 潜在空間のカバレッジとモードカバレッジを評価するため、UMAPを用いて潜在空間の可視化を行い、無条件と溶解度条件付きサンプルを比較する。

Figure 1 : Schematic of the architecture used for AntiBARTy Diffusion

実験結果

リサーチクエスチョン

• RQ1 凍結された抗体特異的言語モデルの潜在空間は、拡散ベースの新規抗体生成の有効な事前分布として機能するか？
• RQ2 事前学習済み抗体モデルの潜在空間における特性条件付き拡散は、in-silico溶解度が向上した抗体の生成を効果的に誘導できるか？
• RQ3 可変長シーケンスと自然なindelsを含む生成を可能にしつつ、抗体の妥当性と配列多様性を維持できるか？
• RQ4 潜在空間において、高溶解度モードは低溶解度領域と比較してどの程度カバーされているか？
• RQ5 別個の識別器モデルを必要としない分類器フリーのガイドランスは、効果的な特性誘導を達成できるか？

主な発見

• AntiBARTyモデルは、トレーニングセットの長さとゲノム由来の分布を正確に再現しており、1,000個のサンプル配列の100%がヘビーチェーンまたはライトチェーンとして正しく分類され、99.9%以上がヒトゲノム由来と特定された。
• AntiBARTy Diffusionは、中央値の溶解度スコアが無条件分布よりも顕著に高い、5,000個のユニークで重複のない高溶解度配列を生成し、効果的な特性誘導を示した。
• 高溶解度誘導サンプルは、UMAP可視化により高溶解度領域に集積しており、低溶解度モードを回避したことが確認された。
• 低溶解度クラスと高溶解度クラスの両方において、同程度の溶解度シフトが達成されたが、低溶解度生成にはより高いガイドランス強度が必要であった。これは、より不利なモードへシフトさせるのが困難であることを示唆している。
• 生成された全配列はユニークであり、溶解度トレーニングセットに存在しない。高溶解度サンプルの99.9%がトレーニングデータに存在せず、ユニークであった。
• AntiBARTy事前学習におけるindel対応の破損戦略のおかげで、可変長シーケンスとindelsを自然に含む生成が可能であり、アフィニティ成熟の自然な経路を支援した。

(a)