[논문 리뷰] The VampPrior Mixture Model

Andrew Stirn, David A. Knowles|arXiv (Cornell University)|2024. 02. 06.

Single-cell and spatial transcriptomicsBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

이 논문은 깊이 있는 잠재변수 모델을 위한 새로운 사전확률인 VampPrior 혼합모형(VMM)을 제안한다. 이는 기존의 $\mathcal{N}(0,I)$ 사전확률을 대체하여, VampPrior 정규화를 적용한 딜레트 프로세스 가우시안 혼합모형을 사용함으로써 자동으로 군집화를 가능하게 하고, 배치 보정 성능을 향상시킨다. scVI에 통합되었을 때 VMM은 생물학적 보존성과 통합 성능을 크게 향상시키며, 기존 방법들보다 군집화 및 배치 보정 측면에서 뛰어난 성능을 보인다.

ABSTRACT

Widely used deep latent variable models (DLVMs), in particular Variational Autoencoders (VAEs), employ overly simplistic priors on the latent space. To achieve strong clustering performance, existing methods that replace the standard normal prior with a Gaussian mixture model (GMM) require defining the number of clusters to be close to the number of expected ground truth classes a-priori and are susceptible to poor initializations. We leverage VampPrior concepts (Tomczak and Welling, 2018) to fit a Bayesian GMM prior, resulting in the VampPrior Mixture Model (VMM), a novel prior for DLVMs. In a VAE, the VMM attains highly competitive clustering performance on benchmark datasets. Integrating the VMM into scVI (Lopez et al., 2018), a popular scRNA-seq integration method, significantly improves its performance and automatically arranges cells into clusters with similar biological characteristics.

연구 동기 및 목표

• 고정된 군집 수를 요구하고 초기화에 민감한 깊이 있는 잠재변수 모델(DLVMs)에서의 고정된 군집 사전확률의 한계를 해결하기 위해.
• 단일세포 RNA-시퀀싱(scRNA-seq) 데이터 분석에서 동시에 통합과 군집화를 가능하게 하는 사전확률을 개발하여, $\mathcal{N}(0,I)$ 사전확률을 사용하는 기존 방법들인 scVI와 비교해 개선된 성능을 내기 위해.
• 연속 잠재변수를 가진 모든 DLVM에 쉽게 통합할 수 있는 확장성 있고 즉시 사용 가능한 사전확률을 만들기 위해. 이는 scVI 및 다중모드 옴믹스를 위한 관련 도구를 포함한다.
• VMM이 애트라스 수준의 scRNA-seq 통합 과제에서 생물학적 보존성과 기술적 배치 보정을 동시에 향상시킬 수 있음을 입증하기 위해.

제안 방법

• VMM은 가우시안 혼합모형(GMM)을 딜레트 프로세스 혼합모형으로 재구성하기 위해 클러스터 평균에 VampPrior를 적용함으로써, 사전에 군집 수를 정의하지 않고도 비모수적 군집화를 가능하게 한다.
• 이 방법은 변분 추론을 암시적으로 갱신하고(고정된 사전확률 매개수를 유지하면서 변분 매개수를 갱신), 에mpirical Bayes 단계를 번갈아가며 적용함으로써 변분학습과 사전학습을 분리한다.
• VampPrior 정규화는 무작위 초기화가 아닌 데이터 기반의 구조화된 사전점에서 사전 성분을 학습함으로써 안정성과 수렴성을 향상시킨다.
• VMM은 변분 오토인코더(VAE)의 생성 과정에 통합되어 이미지 군집화와 scRNA-seq 데이터 양쪽에 적용되며, 기존의 $\mathcal{N}(0,I)$ 사전확률을 대체한다.
• scRNA-seq에 대해서는 VMM이 scVI에 통합되어, 공통의 배치 보정된 임베딩을 학습하면서 동시에 생물학적으로 의미 있는 군집을 동시에 탐지할 수 있도록 한다.
• 추론 절차는 기존의 DLVM 프레임워크와 호환되도록 설계되어, scVI, scATAC-seq, 공간 전사체계 분석 파이프라인 등 다양한 도구에 쉽게 구현 가능하다.

실험 결과

연구 질문

• RQ1 깊이 있는 잠재변수 모델이 사전에 군집 수를 정의하지 않고도 안정적이고 자동으로 군집화를 수행할 수 있는가?
• RQ2 탄력적인 사전확률이 애트라스 수준의 scRNA-seq 통합에서 배치 보정과 생물학적 보존성을 동시에 향상시킬 수 있는가?
• RQ3 scVI에서 $\mathcal{N}(0,I)$ 사전확률을 VampPrior 혼합모형으로 대체할 경우 군집화 및 통합 성능이 향상되는가?
• RQ4 변분 매개수와 사전 매개수 간의 번갈아가는 추론 절차가 공동 최적화에 비해 모델의 안정성과 성능을 어떻게 향상시키는가?

주요 결과

• VMM은 모든 VAE 기반 군집화 방법보다 뛰어나며, 이미지 군집화 벤치마크에서 최첨단 성능을 달성하여 지도학습 방법에 근접한 성능을 보였다.
• 폐 애트라스 데이터셋에서 VMM은 가장 높은 생물학적 보존성 및 총점수를 기록했으며, 유일한 예외를 제외하고 모든 배치 보정 지표에서 최고 성능을 보였다. 이는 PCR 점수에서 데이터의 본질적 구조로 인해 인위적으로 보상이 감소한 결과였다.
• VMM은 모든 벤치마크 데이터셋에서 scVI의 성능을 크게 향상시켰으며, 가장 높은 생물학적 보존성 및 총점수를 기록했고, 여러 지표에서 최고 또는 근접한 배치 보정 점수를 확보했다.
• MDE를 사용한 정성적 시각화 결과, VMM은 $\mathcal{N}(0,I)$ 사전확률보다 더 구조적이고 생물학적으로 해석 가능한 임베딩을 생성했으며, 세포 유형과 군집 간의 분리가 뚜렷했다.
• 두 생물학적으로 동일한 배치를 가진 SPLiT-seq 데이터셋에서 VMM은 최고의 성능을 기록했으며, 이는 기술적 변동성을 과도하게 보정하지 않고도 안정적인 성능을 유지함을 확인시켰다.
• 비교 분석 결과, VMM은 주어진 세포 유형의 레이블과 비교했을 때 의미 있는 생물학적 군집을 성공적으로 탐지했으며, 복잡한 scRNA-seq 데이터에서 생물학적으로 관련 있는 구조를 효과적으로 추출할 수 있음을 입증했다.