[논문 리뷰] Contrastive losses as generalized models of global epistasis

David H. Brookes, Jakub Otwinowski외 1명|arXiv (Cornell University)|2023. 05. 04.

Evolution and Genetic Dynamics인용 수 4

한 줄 요약

이 논문은 생물학적 서열에서의 복합적 상호작용(전역 상호작용)이 데이터를 왜곡할 때 잠재 순서 함수를 효율적으로 복원하기 위해 지도형 대비 손실(특히 Bradley-Terry 손실)을 사용하는 방법을 제안한다. 특히 데이터가 희소할 경우에도 대비 손실이 평균제곱오차(MSE) 손실보다 더 우수한 성능을 보이며, FLIP 벤치마크와 같은 표준 테스크에서 일관된 개선 효과를 보인다.

ABSTRACT

Fitness functions map large combinatorial spaces of biological sequences to properties of interest. Inferring these multimodal functions from experimental data is a central task in modern protein engineering. Global epistasis models are an effective and physically-grounded class of models for estimating fitness functions from observed data. These models assume that a sparse latent function is transformed by a monotonic nonlinearity to emit measurable fitness. Here we demonstrate that minimizing supervised contrastive loss functions, such as the Bradley-Terry loss, is a simple and flexible technique for extracting the sparse latent function implied by global epistasis. We argue by way of a fitness-epistasis uncertainty principle that the nonlinearities in global epistasis models can produce observed fitness functions that do not admit sparse representations, and thus may be inefficient to learn from observations when using a Mean Squared Error (MSE) loss (a common practice). We show that contrastive losses are able to accurately estimate a ranking function from limited data even in regimes where MSE is ineffective and validate the practical utility of this insight by demonstrating that contrastive loss functions result in consistently improved performance on benchmark tasks.

연구 동기 및 목표

• 고차원 생물학적 서열 공간에서 실험 데이터가 제한된 상황에서 fitness 함수를 학습하는 데 도전하는 것.
• 전역 상호작용이 영향을 미치는 영역에서 fitness 함수가 상호작용 기반 표현에서 조밀해지므로 MSE 손실이 실패하는 이유를 규명하는 것.
• 특히 Bradley-Terry를 포함한 대비 손실을 제안하고, 잠재 순서 함수를 더 효율적으로 학습하기 위한 대안으로 검증하는 것.
• 전역 상호작용과 희소한 상호작용 표현 간의 불일치를 이론적으로 연결하는 것.
• 실제 단백질 fitness 예측 벤치마크에서 대비 손실이 MSE보다 실용적으로 뛰어나다는 것을 입증하는 것.

제안 방법

• 논문은 전역 상호작용을 희소한 잠재 fitness 함수가 관측된 fitness로 변환하는 단조 증가 비선형성으로 모델링하며, 이로 인해 상호작용 기반 표현에서 조밀한 표현이 생성됨을 설명한다.
• fitness-상호작용 불확실성 원리를 도입하여, fitness 영역에서 집중된 값은 상호작용(그래프 푸리에) 기반 표현에서 조밀해지며, 이는 희소 모델링이 불가능하다는 것을 보여준다.
• 핵심 방법은 비모수적 형태의 비선형성이나 잠재 함수를 가정하지 않고도 잠재 순서 함수를 복원하기 위해 지도형 대비 손실(특히 Bradley-Terry)을 최소화하는 것이다.
• 다양한 데이터 희소성 조건 하에서의 시뮬레이션을 통해 검증하고, 여러 단백질 fitness 데이터셋을 사용한 FLIP 벤치마크에서 MSE 학습과 비교한다.
• 시퀀스 데이터 기반 컨볼루션 신경망(CNNs)에 적용하며, 변형된 시퀀스 위치의 포함 여부에 따른 분석도 수행한다.
• 순서 정확도 평가를 위해 테스트 세트에서 피어슨 상관계수(Spearman correlation)와 상위 10퍼센트 재현율(top-10% recall)을 사용하여 순서 학습 및 고정밀도 예측 성능을 평가한다.

실험 결과

연구 질문

• RQ1 전역 상호작용이 데이터를 왜곡할 경우, Bradley-Terry와 같은 대비 손실이 MSE보다 fitness 함수 학습에서 더 우수한 성능을 보일 수 있는가?
• RQ2 왜 데이터 희소성 하에서 MSE는 전역 상호작용 영향을 받는 fitness 함수를 학습하지 못하는가?
• RQ3 비선형성이나 잠재 함수에 대한 가정 없이도 관측된 fitness 데이터로부터 잠재 순서 함수를 얼마나 잘 복원할 수 있는가?
• RQ4 fitness-상호작용 불확실성 원리는 왜 희소한 상호작용 모델이 전역 상호작용 fitness 함수와 불일치하는지를 설명하는가?
• RQ5 실제 단백질 공학 벤치마크에서 대비 학습이 MSE보다 고정밀도 예측(예: 상위 10퍼센트 fitness 서열)에 더 우수한 성능을 보이는가?

주요 결과

• 모든 FLIP 벤치마크 테스크에서 대비 손실, 특히 Bradley-Terry가 피어슨 상관계수 측면에서 MSE를 일관되게 능가하며, 어떤 경우에도 성능이 열 劣화되지 않았다.
• Bradley-Terry 손실은 상위 10퍼센트 재현율에서 MSE를 뛰어넘어 가장 높은 fitness를 가진 서열을 더 잘 식별하는 것으로 나타났다.
• 시뮬레이션 결과 전역 상호작용이 상호작용 기반 표현에서 조밀한 fitness 함수를 생성함을 확인하였으며, 이는 데이터 희소성 하에서 MSE로는 이를 학습하기 어려움을 시사한다.
• fitness-상호작용 불확실성 원리는 이러한 함수가 상호작용 기반 표현에서 희소하게 표현될 수 없음을 설명하며, 이는 대체 학습 목표의 필요성을 정당화한다.
• 노이즈에 대한 강건성을 입증하였으며, 부록 F의 극단적 노이즈 시나리오에서 성능 저하가 없어 실제 실험 환경에서의 실용성을 시사한다.
• 비변형 시퀀스 위치의 제거가 성능 향상과 계산 비용 감소에 기여하며, 특정 분할에서는 미미한 성능 향상만을 보였다.