[論文レビュー] BasisVAE: Translation-invariant feature-level clustering with Variational Autoencoders

Kaspar Märtens, Christopher Yau|arXiv (Cornell University)|Mar 6, 2020

Natural Language Processing Techniques参考文献 20被引用数 8

ひとこと要約

BasisVAEは、変分オートエンコーダー（VAEs）とデコーダーにベイジアン混合事前分布を組み合わせた統合確率的フレームワークを提案し、非線形次元削減と特徴レベルのクラスタリングを同時に実行する。特徴を学習された基本関数の線形結合としてモデル化し、クラスタ固有のスケーリングおよびトランスレーションパラメータ（δ）を用いることで、解釈可能でトランスレーション不変な高次元の表形式データのクラスタリングを可能にする。単細胞遺伝子発現データにおいて、生物学的に意味のある遺伝子発現パターンを効果的に特定し、標準的なクラスタリング手法やVAEsを上回ることを示した。

ABSTRACT

Variational Autoencoders (VAEs) provide a flexible and scalable framework for non-linear dimensionality reduction. However, in application domains such as genomics where data sets are typically tabular and high-dimensional, a black-box approach to dimensionality reduction does not provide sufficient insights. Common data analysis workflows additionally use clustering techniques to identify groups of similar features. This usually leads to a two-stage process, however, it would be desirable to construct a joint modelling framework for simultaneous dimensionality reduction and clustering of features. In this paper, we propose to achieve this through the BasisVAE: a combination of the VAE and a probabilistic clustering prior, which lets us learn a one-hot basis function representation as part of the decoder network. Furthermore, for scenarios where not all features are aligned, we develop an extension to handle translation-invariant basis functions. We show how a collapsed variational inference scheme leads to scalable and efficient inference for BasisVAE, demonstrated on various toy examples as well as on single-cell gene expression data.

研究の動機と目的

• 高次元の表形式データ（例：ゲノム学）における標準的VAEの限界、すなわち解釈可能でクラスタレベルのインサイトを提供できない点を是正すること。
• 次元削減と特徴クラスタリングを1つの確率的モデルに統合し、臨床的でない2段階のワークフローを回避すること。
• 同じ形状だが異なるオフセットを持つ特徴をグループ化できるように、明示的にシフトパラメータ（δ）をモデル化することで、トランスレーション不変クラスタリングを実現すること。
• 特に単細胞オミクスデータにおいて、共通の機能的ダイナミクスを持つ特徴のグループを特定するスケーラブルで解釈可能なフレームワークを提供すること。
• 推定されたパラメータ（λおよびδ）を通じて、特徴間の形状類似性に加え、相対的なタイミングや位相シフト（ラグ）を同定できること。

提案手法

• 特徴をクラスタに割り当てるためのカテゴリカルな潜在変数を用いた階層的ベイジアンクラスタリング事前分布を備えた、変更されたVAEデコーダーを導入する。
• 各特徴の応答を、クラスタ固有のスケーリング（λ）およびトランスレーション（δ）パラメータを持つ基本関数の線形結合としてモデル化する。
• 過剰にクラスタ数Kを指定しても効率的でスパースな推論が可能となるように、畳み込み変分推論スキームを採用する。
• 非負でゼロインflatedな単細胞遺伝子発現データをモデル化するため、デコーダーにゼロインフレーテッドネガティブバイノミアル尤度を用いる。
• クラスタ固有のシフトパラメータ（δ）を許容することで、同じ形状だが異なる位相オフセットを持つ特徴をグループ化できるように、翻訳不変性を明示的にモデル化する。
• 合成遺伝子発現データおよび単細胞精子形成データを含む実世界のデータにモデルを適用し、潜在構造と特徴グループの同時同定を実証する。

実験結果

リサーチクエスチョン

• RQ1 VAEフレームワーク内に次元削減と特徴クラスタリングの統合モデルを構築可能か？その結果、高次元の表形式データにおける解釈性が向上するか？
• RQ2 深層生成モデルフレームワーク内で、同じ機能的形状だが異なる位相シフトを持つ特徴をグループ化できるように、翻訳不変性を明示的にモデル化できるか？
• RQ3 VAEデコーダーに確率的クラスタリング事前分布を組み込むことで、後処理クラスタリング手法に比べて、より正確でスパースなクラスタ割り当てが得られるか？
• RQ4 BasisVAEは、偽時刻やクラスタ構造に関する事前知識なしに、単細胞データにおける既知の生物学的遺伝子発現パターンをどの程度回復できるか？
• RQ5 推定されたスケーリング（λ）およびトランスレーション（δ）パラメータは、遺伝子発現の相対的タイミングやダイナミクスに関する生物学的に意味のあるインサイトを提供できるか？

主な発見

• BasisVAEは合成遺伝子発現データにおいて5つの明確なクラスタを同定し、翻訳不変バージョンは同じ形状だがずれたオフセットを持つ特徴を正しく同じクラスタにグループ化した。
• 単細胞精子形成データにおいて、翻訳不変BasisVAEはTex101、Ly6k、Sdc4、Tubb5、Ccnd2などの遺伝子を同じクラスタに割り当て、異なるオフセットを持つにもかかわらず共通の発現ダイナミクスを明らかにした。
• モデルが推定したδパラメータにより、同じクラスタ内でも1つの遺伝子が他の遺伝子よりも遅れて発現することを解釈可能に特定できた。
• スケール不変バージョンのBasisVAEは、同一形状だが異なるオフセットを持つ遺伝子を別々のクラスタに割り当てており、正確な生物学的グループ化のための翻訳不変性の重要性を強調した。
• 畳み込み変分推論により、クラスタ数K=50のように過剰に指定しても、効率的でスパースな推論が可能となり、意味的かつ安定したクラスタ割り当てが得られた。
• 特徴および潜在変数の再順序付けを通じて、合成データおよび実際の単細胞データにおいて、k-meansや相関ベースの類似度指標に比べてBasisVAEが真の潜在構造をよりよく回復した。