[論文レビュー] Neural Decomposition: Functional ANOVA with Variational Autoencoders

Kaspar Märtens, Christopher Yau|arXiv (Cornell University)|Jun 25, 2020

Explainable Artificial Intelligence (XAI)参考文献 23被引用数 1

ひとこと要約

この論文は、条件付き変分オートエンコーダー（CVAE）に機能的 ANOVA 分散分解を統合する Neural Decomposition を提案する。これにより、潜在変数（z）と共変数（c）の主効果、および非線形相互作用を特徴レベルで解釈可能に分解可能となる。デコーダーの重み空間に機能的制約を課すことにより、同定可能性が達成され、高次元データにおけるスケーラブルで非線形な分散帰属が可能となり、単細胞ゲノムデータにおいて線形モデルより優れたロバスト性を示した。

ABSTRACT

Variational Autoencoders (VAEs) have become a popular approach for dimensionality reduction. However, despite their ability to identify latent low-dimensional structures embedded within high-dimensional data, these latent representations are typically hard to interpret on their own. Due to the black-box nature of VAEs, their utility for healthcare and genomics applications has been limited. In this paper, we focus on characterising the sources of variation in Conditional VAEs. Our goal is to provide a feature-level variance decomposition, i.e. to decompose variation in the data by separating out the marginal additive effects of latent variables z and fixed inputs c from their non-linear interactions. We propose to achieve this through what we call Neural Decomposition - an adaptation of the well-known concept of functional ANOVA variance decomposition from classical statistics to deep learning models. We show how identifiability can be achieved by training models subject to constraints on the marginal properties of the decoder networks. We demonstrate the utility of our Neural Decomposition on a series of synthetic examples as well as high-dimensional genomics data.

研究の動機と目的

• 変分オートエンコーダー（VAE）における解釈性のギャップ、特に医療およびゲノム分野において、ブラックボックス型の潜在表現が特徴レベルの変動を解明するのを制限する問題に対処すること。
• 古典的機能的 ANOVA（fANOVA）を深層学習に拡張し、CVAE のデコーダー構造に潜在変数（z）と共変数（c）の加法的効果および相互作用効果を埋め込むこと。
• デコーダーネットワークの周辺的性質を重み空間における機能的制約によって制約することで、分散成分（主効果および相互作用）の同定可能性を強制すること。
• モデルの誤指定リスクを低減する高次元の単細胞 RNA-seq データにおける遺伝子発現変動の分解のためのスケーラブルで非線形な線形モデルの代替案を提供すること。
• 単細胞データにおける遺伝子発現の非線形相互作用効果が、偽時刻および刺激剤タイプに正確に捉えられ、帰属可能であることを実証すること。

提案手法

• デコーダーが潜在変数（z）と固定共変数（c）の加法的効果、およびそれらの非線形相互作用を明示的にモデル化できるように構造化された CVAE ベースのフレームワークとして Neural Decomposition を提案する。
• 同定可能性を確保し、1つの成分が他の成分の変動を吸収するのを防ぐために、デコーダーの重み空間に機能的制約を課す。
• 訓練中に制約付き最適化を実装し、主効果のゼロ平均活性化などのデコーダーの周辺的性質を維持することで、分散寄与を分離する。
• 大規模なデータセット（例：単細胞ゲノムデータ）におけるスケーラブルな訓練を可能にするために、アンモトライズド変分推論を用いる。
• デコーダーに深層ニューラルネットワークを採用し、出力を f(z)、f(c)、f(z,c) の明確な成分に分解する。相互作用項には共有表現を用いる。
• 合成データおよびマウスの樹状細胞からの実世界の単細胞 RNA-seq データを用いて手法を検証し、潜在変数 z として偽時刻を推定した。

実験結果

リサーチクエスチョン

• RQ1 機能的 ANOVA 分解が、CVAE などの深層生成モデルに効果的に適応可能であり、高次元データにおける解釈可能な分散帰属を可能にするか？
• RQ2 モデルの柔軟性を損なわせることなく、ニューラルネットワークベースのデコーダーにおいて主効果および相互作用の同定可能性をどのように強制できるか？
• RQ3 提案手法による非線形分解が、ノイズの多い単細胞ゲノムデータにおける真の生物学的変動を線形モデルよりも効果的に捉えられるか？
• RQ4 Neural Decomposition が、偽時刻（z）、刺激剤タイプ（c）、およびそれらの相互作用が遺伝子発現変動に与える寄与をどれほど正確に分離・定量できるか？
• RQ5 線形モデルがモデルの誤指定により失敗する可能性がある単細胞データにおいて、同手法が生物学的に有意義な相互作用効果をロバストに同定できるか？

主な発見

• Neural Decomposition は、単細胞 RNA-seq データにおける遺伝子発現変動を、偽時刻（z）の主効果、刺激剤タイプ（c）の主効果、非線形相互作用効果（z,c）に明確に分解し、各成分の分散寄与割合を定量した。
• 線形モデルで以前に検出されたが、より柔軟な非線形フレームワークで再検証された3つの主要な遺伝子（Tnf、Rasgefb1、Tnfaip3）に強い相互作用効果が存在することが確認された。
• 推定された潜在次元（z）は収集時刻と有意に相関しており、樹状細胞の分化過程における偽時刻の妥当な代理指標であることが裏付けられた。
• 強いzの加法的効果を示す遺伝子はUMAP可視化で混合クラスタリングを示したが、強いc効果または相互作用効果を示す遺伝子はLPSおよびPAM刺激細胞の間に明確な分離を示し、生物学的信号の正しく帰属されたことを示した。
• 非線形モデルは、ノイズの多い単細胞データにおける線形アプローチよりも、より正確かつロバストな分散分解を実現し、モデルの誤指定による誤検出リスクを低減した。
• 制約付き最適化アプローチにより、同定可能性が適切に維持され、各成分（z、c、相互作用）が重複を避け、明確に分離された変動源を捉えていた。