[논문 리뷰] Season combinatorial intervention predictions with Salt & Peper

Thomas Gaudelet, Alice Del Vecchio외 5명|arXiv (Cornell University)|2024. 04. 25.

Intelligent Tutoring Systems and Adaptive Learning인용 수 4

한 줄 요약

이 논문은 유전적 간섭의 쌍방향 조합 효과에 대해 덧셈 효과를 가정하는 생물학적으로 유래한 비모수적 기준선인 Salt와, Salt의 덧셈 적인 사전 지식을 확장하여 조합적 CRISPR 간섭에 대한 전사체 반응 예측에서 최신 성능을 달성하는 딥러닝 모델인 Peper를 소개한다. 높은 내분포 정확도에도 불구하고, Peper를 포함한 모든 모델은 외분포 설정에서 심각한 성능 저하를 보이며 일반화 능력의 심각한 한계와 더 나은 사전 지식 및 데이터 확보 전략의 필요성을 드러낸다.

ABSTRACT

Interventions play a pivotal role in the study of complex biological systems. In drug discovery, genetic interventions (such as CRISPR base editing) have become central to both identifying potential therapeutic targets and understanding a drug's mechanism of action. With the advancement of CRISPR and the proliferation of genome-scale analyses such as transcriptomics, a new challenge is to navigate the vast combinatorial space of concurrent genetic interventions. Addressing this, our work concentrates on estimating the effects of pairwise genetic combinations on the cellular transcriptome. We introduce two novel contributions: Salt, a biologically-inspired baseline that posits the mostly additive nature of combination effects, and Peper, a deep learning model that extends Salt's additive assumption to achieve unprecedented accuracy. Our comprehensive comparison against existing state-of-the-art methods, grounded in diverse metrics, and our out-of-distribution analysis highlight the limitations of current models in realistic settings. This analysis underscores the necessity for improved modelling techniques and data acquisition strategies, paving the way for more effective exploration of genetic intervention effects.

연구 동기 및 목표

• 복잡한 생물학적 시스템에서 이배열 유전자 간섭에 대한 전사체 반응을 예측하는 문제에 대응하기 위해.
• 주로 유전자 조합의 덧셈 효과를 가정하는 생물학적으로 탄탄한 기준선인 Salt를 개발하기 위해.
• Salt의 덧셈 적인 사전 지식을 활용하여 예측 정확도를 향상시키기 위한 딥러닝 모델인 Peper를 설계하기 위해.
• 다양한 지표를 기반으로 현재 최신 기술 모델들을 평가하고 실제 세계의 외분포 시나리오에서의 한계를 규명하기 위해.
• 신규 조합 간섭 효과를 신뢰성 있게 예측하기 위해 더 나은 사전 지식, 데이터 확보 전략, 모델 아키텍처가 급박히 필요하다는 점을 강조하기 위해.

제안 방법

• Salt는 두 유전자 간섭의 병합 효과가 각각의 개별 효과의 합과 약간 유사하다고 가정하는 비모수적 생물학적 유도 기준선 모델이다.
• Peper는 이배열 유전자 간섭에 대한 전사체 반응을 예측하기 위해 훈련된 딥러닝 모델로, Salt의 덧셈 사전 지식을 사전 지식으로 통합한다.
• 모델는 유전자 스크린의 전역 체계 간섭에 기반한 단세포 RNA-seq 데이터를 사용하며, 개별 세포의 유전자 발현 수준에서 예측 성능을 평가한다.
• 성능 평가는 RMSE 및 상관계수 등 여러 지표를 사용하며, Norman 등(2019)이 정의한 상호작용 유형(예: 강화, 억제) 기반의 하위군 분석도 수행된다.
• 외분포 평가 전략이 적용되며, 간섭 하위군별로 데이터를 분할하여 실제 예측 시나리오를 시뮬레이션한다. 이는 훈련 중에 본 적 없는 조합을 마주할 때 모델의 성능을 평가하기 위함이다.
• 일반화 능력을 평가하기 위해 Peper와 Salt를 최신 기술 모델(GEARS, CPA)과 비교하며, 내분포 및 외분포 분할을 모두 사용한다.

실험 결과

연구 질문

• RQ1 Salt와 같이 생물학적으로 기반을 둔 비모수적 기준선이 조합 간섭 예측 모델 평가에 신뢰할 수 있는 기준점이 될 수 있는가?
• RQ2 덧셈 사전 지식을 통합함으로써 이배열 유전자 간섭에 대한 전사체 반응 모델링에서 예측 정확도는 어느 정도 향상되는가?
• RQ3 기존 최신 기술 모델은 훈련 중에 보지 못한 외분포 조합에 대해 어떻게 성능을 발휘하는가?
• RQ4 Peper를 포함한 기존 모델들이 내분포 성능은 뛰어나지만 외분포 설정에서 심각한 성능 저하를 보이는 이유는 무엇인가?
• RQ5 단세포 분포의 고차원 모멘트를 모델링하는 것이 의미가 있으며, 이는 주요 예측 지표 성능을 향상시키는가, 아니면 저해하는가?

주요 결과

• Peper는 주요 평가 지표에서 최신 기술 성능을 달성하여, 모든 간섭 하위군에서 기존 모델(GEARS, CPA)을 능가한다.
• Salt는 덧셈 효과가 주로 작용하는 하위군에서 뛰어난 기준선 성능를 보이며, 비모수적 기준선로서의 생물학적 타당성을 입증한다.
• Peper를 포함한 모든 모델은 외분포 설정에서 심각한 성능 저하를 겪으며, 특히 '강화' 상호작용 유형에서 가장 큰 성능 저하가 관찰된다.
• 외분포 분석 결과, 현재 모델들은 새로운, 이전에 본 적 없는 조합 간섭 효과를 예측하는 데 부적합하다는 것이 드러났다. 이는 약물 개발에서 가장 필요로 하는 상황이다.
• 현재의 사전 지식, 예를 들어 Salt의 사전 지식는 강화와 같은 복잡한 생물학적 상호작용을 포괄하기에는 부족하며, 더 동적 또는 맥락 인식형 사전 지식이 필요하다는 점을 시사한다.
• 결과적으로 단세포 분포의 고차원 모멘트를 모델링하는 것이 주요 지표 성능 향상에 기여하지 못할 수 있으며, 일부 응용 분야에서는 (가상의) 복합 데이터가 더 효과적일 수 있다.