[論文レビュー] The VampPrior Mixture Model

Andrew Stirn, David A. Knowles|arXiv (Cornell University)|Feb 6, 2024

Single-cell and spatial transcriptomicsBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

本稿では、深層潜在変数モデルにおける新しい事前分布として、VampPrior混合モデル（VMM）を提案する。標準的な $Δ(0,I)$ 事前分布の代わりに、VampPrior正則化を用いたディリクレ過程ガウス混合モデルを採用することで、自動クラスタリングと改善されたバッチ補正が可能になる。scVIに統合した場合、VMMはscRNA-seqデータセットにおける生物学的保存性と統合性能を顕著に向上させ、既存手法を上回る性能を発揮する。

ABSTRACT

Widely used deep latent variable models (DLVMs), in particular Variational Autoencoders (VAEs), employ overly simplistic priors on the latent space. To achieve strong clustering performance, existing methods that replace the standard normal prior with a Gaussian mixture model (GMM) require defining the number of clusters to be close to the number of expected ground truth classes a-priori and are susceptible to poor initializations. We leverage VampPrior concepts (Tomczak and Welling, 2018) to fit a Bayesian GMM prior, resulting in the VampPrior Mixture Model (VMM), a novel prior for DLVMs. In a VAE, the VMM attains highly competitive clustering performance on benchmark datasets. Integrating the VMM into scVI (Lopez et al., 2018), a popular scRNA-seq integration method, significantly improves its performance and automatically arranges cells into clusters with similar biological characteristics.

研究の動機と目的

• 固定クラスタ数の事前分布が深層潜在変数モデル（DLVM）に与える制限を解消すること。具体的には、事前にクラスタ数を指定する必要があり、初期化に敏感である点を改善する。
• 単一細胞RNA-seq（scRNA-seq）データ解析において、統合とクラスタリングを同時に実現する事前分布を開発すること。これにより、$Δ(0,I)$ 事前分布を用いる既存手法（例：scVI）を凌駆する。
• 連続的潜在変数を備えた任意のDLVM（例：scVIやマルチモdalオミクス向け関連ツール）に容易に統合可能なスケーラブルで即席的な事前分布を構築すること。
• VMMがアトラスレベルのscRNA-seq統合タスクにおいて、生物学的保存性と技術的バッチ補正の両方を向上させることを実証すること。

提案手法

• VMMは、ガウス混合モデル（GMM）をディリクレ過程混合モデルに再定式化し、クラスタ平均にVampPriorを適用することで、事前にクラスタ数を指定せずに非パrametricクラスタリングを可能にする。
• 本手法は、変分推論（変分パラメータを固定事前分布パラメータで更新）とエムピリカルベイズステップ（事前分布パラメータを更新）を交互に実行することで、変分学習と事前分布学習を分離する。
• VampPrior正則化により、ランダムな初期化ではなく、データ駆動で構造化された事前ポイントから事前分布の成分が学習されるため、安定性と収束性が向上する。
• VMMは変分オートエンコーダー（VAE）の生成プロセスに統合され、画像クラスタリングおよびscRNA-seqデータに適用され、標準的な $Δ(0,I)$ 事前分布の代わりに使用される。
• scRNA-seqでは、VMMがscVIに統合され、共有のバッチ補正済み埋め込みを学習すると同時に、生物学的に意味のあるクラスタを同時に同定可能になる。
• 推論手順は、既存のDLVMフレームワークと互換性を持たせ、scVI、scATAC-seq、空間的トランスクリプトミクスパイプラインなどに容易に統合可能である。

実験結果

リサーチクエスチョン

• RQ1 深層潜在変数モデルは、事前にクラスタ数を指定せずに、安定した自動クラスタリングを達成できるか？
• RQ2 柔軟な事前分布は、アトラスレベルのscRNA-seq統合において、バッチ補正と生物学的保存性の両方を向上させられるか？
• RQ3 scVIにおける $Δ(0,I)$ 事前分布をVampPrior混合モデルに置き換えることで、クラスタリングおよび統合性能が向上するか？
• RQ4 変分パラメータと事前分布パラメータの交互推論手順は、統合最適化と比較してモデルの安定性と性能をどのように向上させるか？

主な発見

• VMMは、VAEベースのクラスタリング手法すべてを上回り、画像クラスタリングベンチマークで最先端の性能を達成しており、教師あり手法に近い性能に近づいている。
• 肺アトラスデータセットでは、VMMは最高の生物学的保存性スコアと総合スコアを達成し、1つのバッチ補正指標を除き、全指標で最高の性能を示した。ただし、PCRスコアはデータ構造上の固有の要因により意図的にペナルティが与えられた。
• VMMは、すべてのベンチマークデータセットにおいてscVIの性能を顕著に向上させ、最高の生物学的保存性スコアと総合スコアを達成し、複数の指標で最良または準最良のバッチ補正スコアを記録した。
• MDEを用いた可視化により、VMMは $Δ(0,I)$ 事前分布よりも構造的で生物学的に解釈可能な埋め込みを生成しており、細胞タイプやクラスタの明確な分離が得られていることが確認された。
• 2つの生物学的に同一のバッチを有するSPLiT-seqデータセットでは、VMMが最良の性能を発揮した。これは、技術的ばらつきを過剰に補正せず、最小限のバッチ効果に対しても頑健であることを裏付けている。
• アノテートされた細胞タイプと比較した結果、VMMは複雑なscRNA-seqデータから生物学的に意味のある構造を効果的に抽出できることを示した。