[論文レビュー] Identifiable Variational Autoencoders via Sparse Decoding.

Gemma E. Moran, Dhanya Sridhar+2 more|arXiv (Cornell University)|Oct 20, 2021

Generative Adversarial Networks and Image Synthesis参考文献 34被引用数 4

ひとこと要約

この論文は、高次元データから識別可能でスパースな潜在要因を学習するため、各観測特徴量がわずかな潜在要因にのみ依存するように制約を課す深層生成モデル、Sparse VAEを提案する。識別可能性は弱いアンカーフィーチャー仮定の下で達成され、シミュレートされたデータおよび実世界のデータにおいて、再構成精度と要因の解釈可能性の両面で既存手法を上回る。

ABSTRACT

We develop the Sparse VAE, a deep generative model for unsupervised representation learning on high-dimensional data. Given a dataset of observations, the Sparse VAE learns a set of latent factors that captures its distribution. The model is sparse in the sense that each feature of the dataset (i.e., each dimension) depends on a small subset of the latent factors. As examples, in ratings data each movie is only described by a few genres; in text data each word is only applicable to a few topics; in genomics, each gene is active in only a few biological processes. We first show that the Sparse VAE is identifiable: given data drawn from the model, there exists a uniquely optimal set of factors. (In contrast, most VAE-based models are not identifiable.) The key assumption behind Sparse-VAE identifiability is the existence of features, where for each factor there exists a feature that depends only on that factor. Importantly, the anchor features do not need to be known in advance. We then show how to fit the Sparse VAE with variational EM. Finally, we empirically study the Sparse VAE with both simulated and real data. We find that it recovers meaningful latent factors and has smaller heldout reconstruction error than related methods.

研究の動機と目的

• 標準VAEにおける識別可能性の欠如が、意味のある潜在要因の一意的回復を不可能にしている問題に対処すること。
• 各データ特徴量がわずかな潜在要因にのみ依存するような、スパースかつ分離可能な表現を学習するモデルの開発。
• 潜在要因が、アンカーフィーチャーの事前知識がなくても、データから一意に特定可能であるための条件の確立。
• 提案モデルのための変分EMを用いたスケーラブルな学習手順の提供。
• ベースライン手法と比較して、モデルが解釈可能な要因を回復できること、およびより優れた再構成性能を示す、実証的検証。

提案手法

• Sparse VAEは、各観測特徴量が潜在要因の小さなサブセットにのみ依存するように、復元プロセスにおけるスパarsityを強制する。
• 識別可能性は、各潜在要因に対して、それが唯一に依存する特徴量（アンカーフィーチャー）が存在するという仮定の下で達成されるが、これらの特徴量が事前に不明であってもよい。
• モデルは、事後分布推論とモデルパラメータ最適化を交互に繰り返す変分EMフレームワークを用いて学習する。
• 復元行列はスパースに制約され、最適化中に構造的事前分布または正則化によりスパarsityが強制される。
• モデルは、アモルタイズド推論を用いて、スパースな復元重みと潜在変数の事後分布の両方を学習する。
• 識別可能性の証明は、スパarsityの構造的制約とアンカーフィーチャーの存在に依存しており、一意な最適分解が保証される。

実験結果

リサーチクエスチョン

• RQ1 アンカーフィーチャーが事前に分かっていない状況でも、VAEベースのモデルが潜在要因の識別可能性を達成できるか？
• RQ2 復元プロセスにおけるスパarsityが、学習された潜在要因の解釈可能性および分離性に与える影響は何か？
• RQ3 Sparse VAEは、高次元データにおいて、標準VAEや他のスパースモデルと比較して再構成性能を向上させられるか？
• RQ4 Sparse VAEにおける識別可能性に必要な十分条件としてのデータ構造的要件（例：アンカーフィーチャーの存在）は何か？
• RQ5 Sparse VAEは、テキストやゲノムなどの実世界データセットにおいて、意味のある解釈可能な要因をどれほど正確に回復できるか？

主な発見

• アンカーフィーチャーの存在下では、それらが事前に分かっていなくても、Sparse VAEは識別可能である。
• シミュレートデータおよび実世界データの両方において、関連手法と比較して、保持された再構成誤差が小さくなる。
• 学習された潜在要因は解釈可能であり、各特徴量がわずかな要因にのみ依存していることが、レーティング、テキスト、ゲノムへの応用から明らかになる。
• 目的関数が凸でないにもかかわらず、変分EM学習手順はモデルを効果的に最適化する。
• 実証的結果から、モデルはドメイン知識と整合する意味のある構造（例：映画評価におけるジャンル、テキストにおけるトピック）を回復していることが示された。
• 識別可能性の結果は、弱い仮定のもとで成立する——アンカーフィーチャーの同定は不要で、その存在さえあれば十分である。