[論文レビュー] Information Constraints on Auto-Encoding Variational Bayes

Romain Lopez, Jeffrey Regier+2 more|arXiv (Cornell University)|May 22, 2018

Machine Learning and Data Classification参考文献 47被引用数 65

ひとこと要約

HSIC-constrained VAEs (HCV) を導入し、潜在成分間の独立性を dHSIC を用いて促進する依存を抑制する、解釈可能・不変・ノイズ除去表現に適用、scRNA-seq分析を含む。

ABSTRACT

Parameterizing the approximate posterior of a generative model with neural networks has become a common theme in recent machine learning research. While providing appealing flexibility, this approach makes it difficult to impose or assess structural constraints such as conditional independence. We propose a framework for learning representations that relies on Auto-Encoding Variational Bayes and whose search space is constrained via kernel-based measures of independence. In particular, our method employs the $d$-variable Hilbert-Schmidt Independence Criterion (dHSIC) to enforce independence between the latent representations and arbitrary nuisance factors. We show how to apply this method to a range of problems, including the problems of learning invariant representations and the learning of interpretable representations. We also present a full-fledged application to single-cell RNA sequencing (scRNA-seq). In this setting the biological signal is mixed in complex ways with sequencing errors and sampling effects. We show that our method out-performs the state-of-the-art in this domain.

研究の動機と目的

• 伝統的なグラフィカルモデル制約を超える特定の独立性プロパティを持つ潜在表現の必要性を動機づける。
• kernel-based dependence measures を用いて VAEs の aggregated posteriors を制約するフレームワークを提案する。
• HSIC-Constrained VAE (HCV) を HSIC で ELBO をペナルティして潜在サブセット間の独立性を強制する。
• 解釈可能な表現、不変表現、単一細胞RNAシーケンシングデータのデノイジングのタスクで手法を示す。

提案手法

• VAE と aggregated posterior q_hat_phi(Z) をデータの混合としてのレビュー。
• HSIC とその d-variate 一般化 (dHSIC) を kernel-based dependence measures として導入。
• HSIC-constrained VAE (HCV) を、選択された潜在成分（およびオプションのノイズ要因）間の HSIC に比例したペナルティを最大化する ELBO で定義。
• ペナルティを対数尤度の下界として正当化し、HSIC の minibatch 対応推定を強調。
• 特定のカーネル選択の下で、HSIC ペナルティが既存の不変性アプローチ（例: MMD ベースの方法）を包含・関連づけることができる。
• 訓練と計算上の考慮事項を示し、カーネル選択、バッチ設定、変分後方分布への影響を含む。

実験結果

リサーチクエスチョン

• RQ1 HSIC ベースのペナルティは VAEs で潜在座標間の所望の独立性を強制できるか？
• RQ2 HCV は表現品質と再構成の観点で既存のディスタングルメント/不変性アプローチ（例: beta-VAE, beta-TCVAE, VFAE）と比べてどうか？
• RQ3 HCV は interpretable factor discovery、ノイズの不変性、デノイジングといった実世界データの下流タスクを改善できるか？
• RQ4 ELBO、aggregated posterior の相関、計算効率に対する HSIC ペナルティの影響は？
• RQ5 scRNA-seq のデノイジングと仮説検定において HCV はどの程度性能を発揮するか？

主な発見

• HCV は線形ガウス設定で beta-VAE や beta-TCVAE といったベースラインよりも高い ELBO 値を達成しつつ、aggregated posterior の依存性を HSIC で測定した場合に低くなる。
• 解釈可能な表現学習において、HSIC ベースのペナルティは再構成品質と独立性のトレードオフで既存のディスタングルメント手法と比較して好ましい。
• 照明ノイズを含む顔データに対する不変表現学習で、HCV はノイズ照明に対してより不変な表現を生成しつつ同一性情報を保持。
• scRNA-seq デノイジングでは、HCV は潜在空間の品質管理ノイズ指標への依存を低減し、IDR によるマイクロアレイ結果との相関が高く、scVI と比較して潜在因子がより生物学的に解釈可能であることを示す。
• 総じて、HSIC ペナルティは完全な結合分布推定を要せず、潜在表現の独立性をスケーラブルにミニバッチ対応で強制する方法を提供する。