[論文レビュー] Modelling Cellular Perturbations with the Sparse Additive Mechanism Shift Variational Autoencoder

Michael Bereket, Theofanis Karaletsos|arXiv (Cornell University)|Nov 5, 2023

Single-cell and spatial transcriptomics被引用数 8

ひとこと要約

SAMS-VAE は VAE に スパース加法摂動機構を追加し、 perturb-seq データにおける潜在的に分離され解釈可能な latent subspaces と強い一般化を実現する。さらに 相関推論と平均処置効果に基づく評価フレームワークを導入する。

ABSTRACT

Generative models of observations under interventions have been a vibrant topic of interest across machine learning and the sciences in recent years. For example, in drug discovery, there is a need to model the effects of diverse interventions on cells in order to characterize unknown biological mechanisms of action. We propose the Sparse Additive Mechanism Shift Variational Autoencoder, SAMS-VAE, to combine compositionality, disentanglement, and interpretability for perturbation models. SAMS-VAE models the latent state of a perturbed sample as the sum of a local latent variable capturing sample-specific variation and sparse global variables of latent intervention effects. Crucially, SAMS-VAE sparsifies these global latent variables for individual perturbations to identify disentangled, perturbation-specific latent subspaces that are flexibly composable. We evaluate SAMS-VAE both quantitatively and qualitatively on a range of tasks using two popular single cell sequencing datasets. In order to measure perturbation-specific model-properties, we also introduce a framework for evaluation of perturbation models based on average treatment effects with links to posterior predictive checks. SAMS-VAE outperforms comparable models in terms of generalization across in-distribution and out-of-distribution tasks, including a combinatorial reasoning task under resource paucity, and yields interpretable latent structures which correlate strongly to known biological mechanisms. Our results suggest SAMS-VAE is an interesting addition to the modeling toolkit for machine learning-driven scientific discovery.

研究の動機と目的

• 摂動下での細胞観測の生成モデルを学習し、摂動効果をベース変動から分離する。
• 同じ摂動を受けるサンプル間で加法的に構成され、共有されるスパースな摂動潜在オフセットを導入する。
• 潜在的な分離と予測性能を向上させるための相関的変分推論戦略を開発・比較する。
• 周辺尤度（IWELBO）と平均処置効果による事後予測チェックを用いた摂動モデルの評価フレームワークを提供する。
• ベースラインと比較して perturb-seq データセットでの一般化と解釈性の向上を示す。

提案手法

• z_i = z_i^b + z_i^p を潜在状態として定義し、z_i^p = sum_t d_{i,t} (e_t ⊙ m_t) とする。
• e_t ~ N(0, βI) および m_t ~ Bern(α) をモデル化し、スパースで摂動特異的なオフセットを誘導する。
• ニューラルネットワークを用いて p(x_i|z_i; θ) をパラメータ化し、ライブラリサイズ l_i を伴う Gamma-Poisson（負の二項）モデルによる scRNA-seq尤度を用いる。
• 摂動 t を受けるサンプル間で z^b, E, M を結びつける平均場または相関的変分分布を用いた確率的変分推論で推論する。
• CPA-VAE を、スパースマスク（m_t を 1 に固定）なしのアブレーション変種として導入する。
• より豊かな変分ファミリーを実現する2つの改良推論スキームを提供する：相関 z_basal および相関 embeddings E。

Figure 2 : Visualization of inferred latent perturbation masks and embedding means for the best performing checkpoint of each model in replogle-filtered . We visualize the latent variables for the 345 perturbations with pathway annotations from Replogle et al. [ 17 ] and group by pathway. The SAMS-V

実験結果

リサーチクエスチョン

• RQ1 SAMS-VAE は摂動効果をスパース加法的潜在オフセットとして正確にモデルできるか。
• RQ2 相関推論戦略はベースラインより潜在分離性、解釈性、および予測性能を改善するか。
• RQ3 SAMS-VAE は分布内・分布外の摂動や組み合わせ摂動に対して一般化できるか。
• RQ4 提案された平均処置効果と差次的発現による評価フレームワークは摂動モデルの評価に有用か。
• RQ5 SAMS-VAE は perturb-seq データに対して CPA-VAE、SVAE+、条件付きVAE とどのように比較されるか。

主な発見

Model	Inference	Test IWELBO	Mask PW. Acc.	ATE-Pearson
Conditional VAE	amortized MF	-1766.10 ± 0.18	-	0.765
SVAE+	amortized MF	-1761.42 ± 0.06	0.78 ± 0.04	0.605
CPA-VAE	amortized MF	-1760.14 ± 0.20	-	0.523
CPA-VAE	corr. z_basal	-1756.57 ± 0.14	-	0.571
SAMS-VAE	amortized MF	-1757.72 ± 0.14	0.68 ± 0.09	0.302
SAMS-VAE	corr. E	-1758.08 ± 0.07	0.71 ± 0.04	0.319
SAMS-VAE	corr. z_basal	-1756.40 ± 0.06	0.87 ± 0.02	0.718
SAMS-VAE	corr. z_basal and E	-1756.27 ± 0.10	0.89 ± 0.03	0.765

• SAMS-VAE は完全に相関した推論を用いると再現データで最良の test IWELBO と ATE 相関を達成する。
• 相関 z_basal 推論は SAMS-VAE と CPA-VAE の両方で大幅な利得をもたらし、相関 E は控えめな利得をもたらす。
• SAMS-VAE が z_basal と E の両方で相関していると、マスク PW. Acc および ATE-Pearson において最も高い値を示す。
• SAMS-VAE と CPA-VAE は組み合わせ摂動設定（norman-ood）やデータ効率性シナリオで強い一般化を示す。
• SAMS-VAE の潜在摂動マスクは SVAE+ より注釈付き生物経路の予測性が高い。
• モデルベースの ATE はデータ駆動の差次的発現と良く相関しており、PPC フレームワークを支持する。