[論文レビュー] A Pareto-optimal compositional energy-based model for sampling and optimization of protein sequences

Nataša Tagasovska, Nathan C. Frey+10 more|arXiv (Cornell University)|Oct 19, 2022

vaccines and immunoinformatics approaches被引用数 4

ひとこと要約

本論文では、複数の矛盾する目的を同時に満たすタンパク質配列のサンプリングを可能にするPareto合成型エネルギーに基づくモデル（pcEBM）を提案する。多目的最適化と合成型エネルギーに基づくモデリングを組み合わせることで、ベースラインと比較して収束が速く、Paretoフロントのカバレッジが優れている。本手法は、結合親和性、多反応性、粘性の最適化が図られた多様で高品質な抗体配列を生成する。

ABSTRACT

Deep generative models have emerged as a popular machine learning-based approach for inverse design problems in the life sciences. However, these problems often require sampling new designs that satisfy multiple properties of interest in addition to learning the data distribution. This multi-objective optimization becomes more challenging when properties are independent or orthogonal to each other. In this work, we propose a Pareto-compositional energy-based model (pcEBM), a framework that uses multiple gradient descent for sampling new designs that adhere to various constraints in optimizing distinct properties. We demonstrate its ability to learn non-convex Pareto fronts and generate sequences that simultaneously satisfy multiple desired properties across a series of real-world antibody design tasks.

研究の動機と目的

• 結合親和性、多反応性、粘性など、しばしば矛盾する生物学的特性を同時に満たすタンパク質配列を生成する課題に対処すること。
• 単一の目的を最適化するのではなく、これらの特性間の最適なトレードオフのParetoフロントからサンプリングできる生成モデルを開発すること。
• 特に目的が直交的または非凸的な場合に、複数目的タンパク質配列最適化におけるサンプリング効率と多様性を向上させること。
• 機能的かつ開発可能で、下流開発における失敗リスクを低減できる、制御可能でガイドされた新規抗体配列の生成を可能にすること。
• 他の複数目的の分子設計問題にも適用可能な汎用的でモジュラーなフレームワークを提供すること。

提案手法

• pcEBMフレームワークは、各目的のための個別のエネルギーに基づくモデル（EBM）からの複数の勾配降下ステップを、1つの合成的サンプリングプロセスに統合する。
• 合成エネルギー関数は、各生物的特性を別々にモデル化する個別のプロパティ固有のEBMの和として定義され、それぞれが関心のある特定の生物学的特性をモデル化する。
• サンプリングプロセスは、すべての目的でエネルギーを同時に最小化する多勾配更新則を適用し、Pareto最適解への収束を可能にする。
• 局所的降下（LD）戦略を採用することで、最適でない領域への早期収束を回避し、Paretoフロントのカバレッジを向上させる。
• 収束速度と安定性のバランスをとるためにステップサイズスケジュールを用い、アブレーションスタディによりその性能への影響が確認されている。
• 本手法は、合成的および実世界の抗体設計タスクの両方で評価されており、初期段階で性質が悪い「シード」配列からの改善も含む。

実験結果

リサーチクエスチョン

• RQ1 合成型エネルギーに基づくモデルは、結合親和性と開発可能性の間で矛盾する複数の目的において、Pareto最適なタンパク質配列を効果的にサンプリングできるか？
• RQ2 標準の多目的ベースラインと比較して、提案されたpcEBMは収束速度、Paretoフロントカバレッジ、および配列品質においてどのように差を示すか？
• RQ3 pcEBMをリファインメントツールとして用いる場合、既存の抗体配列の性質、特に非特異性（BVスコア）をどの程度改善できるか？
• RQ4 サンプリングプロセスに局所的降下（LD）を統合することで、標準の勾配降下または直接的なLDと比較して、Paretoフロントの探索がより効果的に行われるか？
• RQ5 本モデルは、異なる種類のタンパク質設計タスクに一般化可能であり、さまざまなハイパーパrameter条件下でも性能を維持できるか？

主な発見

• エネルギースコアの減少をサンプリングステップごとに評価した結果、pcEBMはcEBMよりも収束が速く、ステップサイズ0.01で安定的かつ迅速な改善が得られた。
• MGDやcEBMのベースラインと比較して、pcEBMはより広範かつ多様なParetoフロントを生成し、顕著に高いハイパーボリュームとトレーニングデータとの類似性を示した。
• pcEBMは、さまざまなステップサイズにおいても高いハイパーボリュームと、編集距離および目的スコアの分散が小さいことを示しており、ロバストネスと安定性が裏付けられた。
• 既存の抗体配列の改善において、pcEBMとMGDは平均BVスコアを0.27から0.9以上に低下させ、cEBMを上回り、非特異性の低減において優れた性能を示した。
• t-SNE可視化により、pcEBMが低BV（赤）領域から高BV（青）領域へと配列を効果的に移動させていることが確認され、非特異性の最適化が成功していることが示された。
• pcEBMにおける局所的降下（LD）の統合は、直接的なLDと比較してParetoフロントのカバレッジが向上しており、多勾配の合成による探索の利点が裏付けられた。