[論文レビュー] The LORACs prior for VAEs: Letting the Trees Speak for the Data

Sharad Vikram, Matthew D. Hoffman+1 more|arXiv (Cornell University)|Oct 16, 2018

Generative Adversarial Networks and Image Synthesis参考文献 18被引用数 4

ひとこと要約

本稿では、時間周辺化コalescent (TMC) に基づく、ベイジアン非パラメトリックな階層的クラスタリング事前分布である LORACs を提案する。この手法により、変分オートエンコーダー (VAE) の解釈性と性能が向上する。潜在表現を木構造的依存関係でモデル化することで、より意味的で離散的かつ階層的なデータ因子分解を学習でき、尤度スコアはやや低いものの、下流の分類およびリtrieval タスクにおいて標準的な事前分布を著しく上回る性能を発揮する。

ABSTRACT

In variational autoencoders, the prior on the latent codes $z$ is often treated as an afterthought, but the prior shapes the kind of latent representation that the model learns. If the goal is to learn a representation that is interpretable and useful, then the prior should reflect the ways in which the high-level factors that describe the data vary. The "default" prior is an isotropic normal, but if the natural factors of variation in the dataset exhibit discrete structure or are not independent, then the isotropic-normal prior will actually encourage learning representations that mask this structure. To alleviate this problem, we propose using a flexible Bayesian nonparametric hierarchical clustering prior based on the time-marginalized coalescent (TMC). To scale learning to large datasets, we develop a new inducing-point approximation and inference algorithm. We then apply the method without supervision to several datasets and examine the interpretability and practical performance of the inferred hierarchies and learned latent space.

研究の動機と目的

• VAE における球状正規事前分布の限界、すなわちデータ内の離散的かつ依存的な構造が隠蔽されることを是正すること。
• 高次元データにおける階層的クラスタリング構造を捉えるスケーラブルで非パラメトリックな事前分布の開発。
• 自然な変動要因を反映する解釈可能で構造的な潜在表現の実現。
• より意味的な潜在幾何学を学習することで、分類およびリtrieval タスクにおける下流性能の向上。

提案手法

• 潜在空間における階層的木構造の柔軟で解釈可能な事前分布として、時間周辺化コalescent (TMC) を提案する。
• TMC 事前分布を大規模データセットにスケーリングするためのインダクションポイント近似を導入し、ミニバッチ推論を可能にする。
• TMC 事前分布を VAE フレームワークと組み合わせ、階層的事前分布を備えた深層生成モデルのエンドツーエンド学習を可能にする。
• 潜在距離と階層的クラスタ構造を一致させるために、木構造的分散を持つガウス尤度を用いる。
• モデル比較のためのホールドアウト尤度推定に、1000サンプルを用いたインポートランス・ワイトド・オートエンコーダー (IWAE) を採用する。
• 木構造および潜在コードの両方のアモアタイズド推論を含む変分推論フレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックな階層的事前分布は、標準的な球状正規事前分布と比較して、VAE が学習する潜在表現の解釈性を向上させることができるか？
• RQ2 LORACs 事前分布は、潜在空間における階層的構造を保持しつつ、大規模データセットにどの程度スケーリング可能か？
• RQ3 木構造的事前分布は、少サンプル分類や情報検索などの下流タスクで優れた性能を発揮するか？
• RQ4 LORACs 事前分布は、顔データセットにおける性別やヒゲの有無といった離散的かつ依存的な変動要因をどの程度正しく捉えられるか？
• RQ5 下流タスクにおける性能向上は、高いホールドアウト尤度に起因するのか、それともより良い構造的インダクティブバイアスに起因するのか？

主な発見

• LORACs 事前分布は、MNIST と Omniglot の両方で情報検索タスクにおける精度再現曲線の AUC が最高となり、MNIST で 0.626、Omniglot で 0.087 の AUC を達成した。
• 少サンプル分類において、LORACs は他の事前分布を常に上回り、特に Omniglot ではラベル数が少ない状況で顕著な高い精度を示した。
• t-SNE 視覚化では、LORACs が正規分布および VampPrior と比較して、より凝縮され分離度の高いクラスタを学習していることが示された。
• 他の事前分布を上回る下流タスク性能を達成したにもかかわらず、LORACs 事前分布は中程度のホールドアウト尤度スコアにとどまり、尤度が表現品質の信頼できる代理指標ではない可能性を示唆した。
• インダクションポイントの手動ラベル付けにより、LORACs の表現はアクティブラーニングにおいてより有用であることが判明し、少ないラベル数で高い精度が得られた。
• インダクションポイント近似を用いることでスケーラビリティを示し、構造的忠実度を損なわず大規模データセットでの学習が可能となった。