[論文レビュー] Contrastive losses as generalized models of global epistasis

David H. Brookes, Jakub Otwinowski+1 more|arXiv (Cornell University)|May 4, 2023

Evolution and Genetic Dynamics被引用数 4

ひとこと要約

本稿では、特にBradley-Terry損失を用いた教師付き対照的損失を提案し、グローバルなエピスタシスがデータを歪める状況において、生物学的配列のフィットネス関数の背後にある潜在的ランク関数をデータ効率的に回復する手法を検討する。対照的損失は、スパースでグローバルにエピスタシスを示すフィットネスランドスケープの学習において、平均二乗誤差（MSE）損失を上回ることを示しており、FLIPベンチマークを含む代表的タスクにおいて一貫した改善が得られている。

ABSTRACT

Fitness functions map large combinatorial spaces of biological sequences to properties of interest. Inferring these multimodal functions from experimental data is a central task in modern protein engineering. Global epistasis models are an effective and physically-grounded class of models for estimating fitness functions from observed data. These models assume that a sparse latent function is transformed by a monotonic nonlinearity to emit measurable fitness. Here we demonstrate that minimizing supervised contrastive loss functions, such as the Bradley-Terry loss, is a simple and flexible technique for extracting the sparse latent function implied by global epistasis. We argue by way of a fitness-epistasis uncertainty principle that the nonlinearities in global epistasis models can produce observed fitness functions that do not admit sparse representations, and thus may be inefficient to learn from observations when using a Mean Squared Error (MSE) loss (a common practice). We show that contrastive losses are able to accurately estimate a ranking function from limited data even in regimes where MSE is ineffective and validate the practical utility of this insight by demonstrating that contrastive loss functions result in consistently improved performance on benchmark tasks.

研究の動機と目的

• 高次元の生物学的配列空間における実験的データが限られる状況で、フィットネス関数を学習する課題に対処すること。
• グローバルなエピスタシスに影響を受ける領域では、フィットネス関数がエピスタシス表現において稠密化するため、平均二乗誤差（MSE）損失がなぜ機能しなくなるかを解明すること。
• 特にBradley-Terryを含む対照的損失を提案し、潜在的ランク関数をよりデータ効率的に学習する代替手法としての有効性を検証すること。
• グローバルなエピスタシスと、観測されたフィットネスデータに対してスパースなエピスタシス表現が不適合である理由を理論的に結びつけること。
• 実世界のタンパク質フィットネス予測ベンチマークにおいて、対照的損失がMSEを上回る実用的優位性を示すこと。

提案手法

• グローバルなエピスタシスを、スパースな潜在的フィットネス関数を観測フィットネスに変換する単調な非線形性として定式化し、エピスタシス基底において稠密な表現が生じることを示す。
• フィットネス-エピスタシス不確実性原理を導入し、フィットネス領域における集中したフィットネス値は、エピスタシス（グラフフーリエ）基底において稠密な表現を必然的に生じさせることを示し、スパースなモデル化が不可能であることを明らかにする。
• コアとなる手法は、特定の非線形性や潜在関数のパラメトリックな形を仮定せずに、教師付き対照的損失（特にBradley-Terry）を最小化することで、潜在的ランク関数を回復することである。
• データスパarsityの異なるシナリオにおけるシミュレーションを実施し、複数のタンパク質フィットネスデータセットを用いたFLIPベンチマークにおいて、MSE学習と比較して有効性を検証する。
• 畳み込みニューラルネットワーク（CNNs）を配列データに適用し、変異のない配列位置の有無をアブレーションとして評価する。
• スピアマン順位相関とテストセットにおける上位10%の再現率を指標として用い、順位付けの精度と高精度予測の両面で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 グローバルなエピスタシスがデータを歪める状況下で、Bradley-Terryを含む対照的損失がMSEを上回るのか？
• RQ2 なぜMSEは、データスパarsityが顕著な状況下で、グローバルなエピスタシスに影響を受けるフィットネス関数を学習できないのか？
• RQ3 非線形性や潜在関数に関する仮定なしに、観測フィットネスデータから潜在的ランク関数をどれだけ正確に回復できるのか？
• RQ4 フィットネス-エピスタシス不確実性原理は、スパースなエピスタシスモデルとグローバルにエピスタシスを示すフィットネス関数の不適合性をどのように説明できるのか？
• RQ5 実世界のタンパク質工学ベンチマークにおいて、対照的学習はMSEに比べて高精度予測（例：上位10%のフィットネス配列）を向上させるのか？

主な発見

• 対照的損失、特にBradley-Terry損失は、すべてのFLIPベンチマークタスクにおいてスピアマン順位相関の観点でMSEを一貫して上回り、劣悪な性能を示すケースは一切ない。
• Bradley-Terry損失はMSEよりも高い上位10%の再現率を達成しており、最高フィットネス配列を識別する性能が優れていることを示している。
• シミュレーションにより、グローバルなエピスタシスがエピスタシス基底において稠密なフィットネス関数を生じさせることを確認し、データスパarsity下ではMSEによる学習が困難であることが裏付けられた。
• フィットネス-エピスタシス不確実性原理は、このような関数がエピスタシス的表現においてスパースに表現できないことを説明しており、代替の学習目的の必要性を正当化している。
• 病理的ノイズ状況下（付録F）でも性能が安定しており、実験的環境における実用的妥当性が示唆された。
• 変異のない配列位置を除外することで、性能が向上し、計算コストも削減されることが多く、特定のスプリットではわずかな利点しか得られない場合がある。