[논문 리뷰] Modelling Cellular Perturbations with the Sparse Additive Mechanism Shift Variational Autoencoder

Michael Bereket, Theofanis Karaletsos|arXiv (Cornell University)|2023. 11. 05.

Single-cell and spatial transcriptomics인용 수 8

한 줄 요약

SAMS-VAE는 VAE에 희소 가법 perturbation 메커니즘을 추가하여 세포 perturbations를 모델링하고, 분리된 해석 가능한 잠재 부분공간과 perturb-seq 데이터의 강한 일반화를 가능하게 한다. 또한 상관된 추론과 평균 처리 효과를 기반으로 한 평가 프레임워크를 도입한다.

ABSTRACT

Generative models of observations under interventions have been a vibrant topic of interest across machine learning and the sciences in recent years. For example, in drug discovery, there is a need to model the effects of diverse interventions on cells in order to characterize unknown biological mechanisms of action. We propose the Sparse Additive Mechanism Shift Variational Autoencoder, SAMS-VAE, to combine compositionality, disentanglement, and interpretability for perturbation models. SAMS-VAE models the latent state of a perturbed sample as the sum of a local latent variable capturing sample-specific variation and sparse global variables of latent intervention effects. Crucially, SAMS-VAE sparsifies these global latent variables for individual perturbations to identify disentangled, perturbation-specific latent subspaces that are flexibly composable. We evaluate SAMS-VAE both quantitatively and qualitatively on a range of tasks using two popular single cell sequencing datasets. In order to measure perturbation-specific model-properties, we also introduce a framework for evaluation of perturbation models based on average treatment effects with links to posterior predictive checks. SAMS-VAE outperforms comparable models in terms of generalization across in-distribution and out-of-distribution tasks, including a combinatorial reasoning task under resource paucity, and yields interpretable latent structures which correlate strongly to known biological mechanisms. Our results suggest SAMS-VAE is an interesting addition to the modeling toolkit for machine learning-driven scientific discovery.

연구 동기 및 목표

• perturbation 아래의 세포 관찰에 대한 생성 모델을 학습하여 perturbation 효과를 기저 변동으로부터 분리한다.
• 같은 perturbation을 받는 샘플들 간에 더해져 구성되고 공유되는 희소한 perturbation 잠재 오프셋을 도입한다.
• 잠재 분리성을 개선하고 예측 성능을 높이기 위해 상관된 변분 추론 전략을 개발하고 비교한다.
• IWELBO(주변 가능도)와 평균 처리 효과를 통한 후방 예측 검사로 perturbation 모델의 평가 프레임워크를 제공한다.
• 기준선과 비교하여 perturb-seq 데이터셋에서 일반화 및 해석가능성의 향상을 시연한다.

제안 방법

• 잠재 상태를 z_i = z_i^b + z_i^p로 정의하고 z_i^p = ∑_t d_{i,t} (e_t ⊙ m_t)로 정의한다.
• e_t ~ N(0, βI) 및 m_t ~ Bern(α)를 모델링하여 희소하고 perturbation 특이적 오프셋을 유도한다.
• 신경망을 사용하여 p(x_i|z_i; θ)를 매개화하고 라이브러리 크기 l_i를 갖는 Gamma-Poisson(음의 이항) 모델로 scRNA-seq 가능도를 구성한다.
• perturbation t를 받는 샘플들 간에 z^b, E, M을 묶는 평균장 변분 추론 또는 상관된 변분 계열을 사용하여 확률적 변분 추론으로 추정한다.
• 희소성 마스크(m_t를 1로 고정) 없는 제거형 변형으로 CPA-VAE를 도입한다.
• 더 풍부한 변분 계열을 위해 상관된 z_basal 및 상관된 임베딩 E의 두 가지 개선된 추론 체계를 제공한다.

Figure 2 : Visualization of inferred latent perturbation masks and embedding means for the best performing checkpoint of each model in replogle-filtered . We visualize the latent variables for the 345 perturbations with pathway annotations from Replogle et al. [ 17 ] and group by pathway. The SAMS-V

실험 결과

연구 질문

• RQ1 SAMS-VAE가 perturbation 효과를 희소 추가 잠재 오프로 정확하게 모델링할 수 있는가?
• RQ2 상관된 추론 전략이 기준선에 비해 잠재 분리성, 해석가능성 및 예측 성능을 개선하는가?
• RQ3 SAMS-VAE는 분포 내(out-of-distribution) 및 분포 간 조합perturbation에 일반화하는가?
• RQ4 제안된 평균 처리 효과 및 차등 발현을 통한 평가 프레임워크가 perturbation 모델을 평가하는 데 유용한가?
• RQ5 SAMS-VAE가 perturb-seq 데이터에서 CPA-VAE, SVAE+, 그리고 조건부 VAE와 비교하여 어떤 차이가 있는가?

주요 결과

• 완전히 상관된 추론을 사용하는 SAMS-VAE가 재플로그 필터링된 데이터에서 가장 높은 테스트 IWELBO 및 ATE 상관을 달성한다.
• 상관된 z_basal 추론은 SAMS-VAE와 CPA-VAE 전반에 걸쳐 큰 이득을 제공; 상관된 E는 경미한 이득을 준다.
• SAMS-VAE가 z_basal과 E를 모두 상관시키면 가장 높은 Mask PW. Acc 및 ATE-Pearson을 달성한다.
• SAMS-VAE와 CPA-VAE는 조합형 perturbation 설정(norman-ood) 및 데이터 효율성 시나리오에서 강한 일반화 성능을 보인다.
• SAMS-VAE의 잠재적 perturbation 마스크는 SVAE+의 마스크보다 주석화된 생물학적 경로를 더 잘 예측한다.
• 모델 기반 ATE는 데이터 기반 차등 발현과 잘 상관되며 PPC 프레임워크를 뒷받침한다.