[논문 리뷰] Learning Causal Representations of Single Cells via Sparse Mechanism Shift Modeling

Romain Lopez, Nataša Tagasovska외 4명|arXiv (Cornell University)|2022. 11. 07.

Single-cell and spatial transcriptomics인용 수 13

한 줄 요약

이 논문은 단일세포 RNA-seq 데이터에서 유전적 및 화학적 간섭을 활용하여 분리된, 인과적으로 해석 가능한 잠재 표현을 학습하는 희소 변동 자동에코더(sVAE)를 제안한다. 간섭을 잠재 변수에서 희소한 이동으로 모델링하고 비정상 데이터를 활용함으로써, 기준 방법에 비해 잠재 변수 복원, 인과적 목표 식별, 도메인 외 일반화 성능에서 뛰어난 성능을 달성하였다. 이는 scvi-tools 라이브러리를 사용하여 시뮬레이션된 데이터와 실제 간섭 데이터셋을 기반으로 검증되었다.

ABSTRACT

Latent variable models such as the Variational Auto-Encoder (VAE) have become a go-to tool for analyzing biological data, especially in the field of single-cell genomics. One remaining challenge is the interpretability of latent variables as biological processes that define a cell's identity. Outside of biological applications, this problem is commonly referred to as learning disentangled representations. Although several disentanglement-promoting variants of the VAE were introduced, and applied to single-cell genomics data, this task has been shown to be infeasible from independent and identically distributed measurements, without additional structure. Instead, recent methods propose to leverage non-stationary data, as well as the sparse mechanism shift assumption in order to learn disentangled representations with a causal semantic. Here, we extend the application of these methodological advances to the analysis of single-cell genomics data with genetic or chemical perturbations. More precisely, we propose a deep generative model of single-cell gene expression data for which each perturbation is treated as a stochastic intervention targeting an unknown, but sparse, subset of latent variables. We benchmark these methods on simulated single-cell data to evaluate their performance at latent units recovery, causal target identification and out-of-domain generalization. Finally, we apply those approaches to two real-world large-scale gene perturbation data sets and find that models that exploit the sparse mechanism shift hypothesis surpass contemporary methods on a transfer learning task. We implement our new model and benchmarks using the scvi-tools library, and release it as open-source software at https://github.com/Genentech/sVAE.

연구 동기 및 목표

• 잠재 변수가 직접적인 생물학적 의미를 갖지 못하는 단일세포 게놈학에서의 변동 자동에코더(VAE)의 해석 가능성 문제를 해결한다.
• i.i.d. 데이터에서 분리된 표현 복원이 이론적으로 불가능하다는 제약을 비정상 간섭 데이터를 활용하여 극복한다.
• 각 간섭을 잠재 변수의 희소 부분집합을 대상으로 하는 스토하스틱 간섭으로 간주하는 딥 생성 모델을 개발한다.
• 유전자 조절 또는 신호 전달 경로와 같은 생물학적으로 의미 있는 과정과 일치시킴으로써 잠재 요인의 인과적 의미 해석을 가능하게 한다.
• 실제 및 시뮬레이션된 단일세포 간섭 데이터셋에서 잠재 변수 복원, 인과적 목표 식별, 전이 학습 성능 향상을 입증한다.

제안 방법

• 다중 간섭 하에서 단일세포 유전자 발현 데이터를 비-i.i.d. 간섭으로 모델링하는 희소 변동 자동에코더(sVAE)를 제안한다.
• 각 간섭을 잠재 변수의 희소 부분집합을 대상으로 하는 스토하스틱 간섭으로 모델링하고, 구조적 사전 분포를 통해 메커니즘 이동의 희소성에 대한 제약을 강제한다.
• 희소 메커니즘 이동 가정 하에서 간섭 레이블을 컨텍스트로 사용하는 조건부 VAE 추론을 통해 분리된 표현을 학습한다.
• 단일세포 RNA-seq 카운트 데이터의 기술적 및 생물학적 과분산을 반영하기 위해 스케일드 음이항 분포 노이즈 모델을 통합한다.
• 비선형 ICA 및 인과적 표현 학습 이론적 식별 가능성 결과를 활용하여, 잠재 변수가 인과적 생물학적 과정에 대응하도록 보장한다.
• scvi-tools 라이브러리를 사용해 모델을 구현하고, https://github.com/Genentech/sVAE 에서 오픈소스 소프트웨어로 배포한다.

실험 결과

연구 질문

• RQ1 희소 메커니즘 이동 모델링이 단일세포 게놈학 데이터에서 분리된, 인과적으로 해석 가능한 표현을 가능하게 하는가?
• RQ2 sVAE 모델은 간섭 데이터에서 표준 VAE 및 기타 분리성 방법에 비해 진정한 잠재 변수를 얼마나 잘 복원하는가?
• RQ3 sVAE 모델은 새로운 간섭, 특히 전이 학습 시나리오에서 얼마나 잘 일반화되는가?
• RQ4 간섭의 희소성과 커버리지가 잠재 변수 복원 및 인과 그래프 식별 성능에 미치는 영향은 어떠한가?
• RQ5 모델 성능와 식별 가능성은 간섭 효과의 강도와 조건부 분포의 변동성에 따라 어떻게 달라지는가?

주요 결과

• sVAE 모델은 바닐라 VAE 및 iVAE를 포함한 기준 방법에 비해 잠재 변수 복원에서 뚜렷한 성능 향상을 보였으며, 15개의 모든 잠재 변수가 간섭된 경우 피어슨 MCC가 0.88에 도달했다.
• 잠재 변수의 일부만 대상이 되는 경우 성능이 크게 저하되었으며(예: 4개의 변수가 대상인 경우 MCC 0.59), 이는 광범위한 간섭 커버리지가 이론적으로 필수적임을 확인한다.
• 모델은 실제 대규모 유전자 간섭 데이터셋에서 인과적 목표를 성공적으로 식별하여 간섭을 생물학적 과정에 해석 가능한 방식으로 매핑할 수 있었다.
• sVAE는 전이 학습 과제에서 도메인 외 일반화 능력이 뛰어나, 새로운 간섭에 대해 강건함을 보였다.
• 모델은 간섭 효과의 강도에 민감하며, 약한 효과는 나쁜 분리성으로 이어지며, 이는 유한 표본 크기 하에서 이론적 제약과 일치한다.
• 충분한 변동성과 잠재 변수의 그래프 커버리지 등의 이론적 가정이 핵심적이다. 이러한 가정을 위반하면 모델이 잘 설계되어 있더라도 성능 저하가 발생한다.