[論文レビュー] InfoCatVAE: Representation Learning with Categorical Variational Autoencoders

Edouard Pineau, Marc Lelarge|arXiv (Cornell University)|Jun 20, 2018

Topic Modeling参考文献 27被引用数 10

ひとこと要約

この論文では、固定されたマルチモーダルな事前分布と推論ネットワークを用いることで、頑健で分離可能な表現学習を可能にするカテゴリカルな変分オートエンコーダー、InfoCatVAEを紹介する。改善されたELBOを用いてカテゴリカルな潜在コードと生成データの間の相互情報量を最大化することで、構造的複雑性が最小限であるにもかかわらず、標準的なVAEやAAEを凌駕する優れた分離性とサンプル品質を達成する。

ABSTRACT

This paper describes InfoCatVAE, an extension of the variational autoencoder that enables unsupervised disentangled representation learning. InfoCatVAE uses multimodal distributions for the prior and the inference network and then maximizes the evidence lower bound objective (ELBO). We connect the new ELBO derived for our model with a natural soft clustering objective which explains the robustness of our approach. We then adapt the InfoGANs method to our setting in order to maximize the mutual information between the categorical code and the generated inputs and obtain an improved model.

研究の動機と目的

• 複雑なアーキテクチャやヒューリスティックな正則化に依存せずに、教師なし表現学習における分離可能で解釈可能な表現の学習という課題に取り組むこと。
• 等方的ガウス事前分布を固定されたマルチモーダルなカテゴリカル事前分布に置き換えることで、変分オートエンコーダーの安定性と分離性を向上させること。
• カテゴリカルな潜在コードと生成データの間の相互情報量を明示的に最大化することで、表現品質を向上させること。
• 体系的なアーキテクチャの変更—過剰なハイパーパrameterチューニングを伴わず—が、強力な分離性と生成性能をもたらすことを示すこと。

提案手法

• 標準的な等方的ガウス事前分布に代わる、固定されたマルチモーダルなカテゴリカル事前分布を備えたカテゴリカルVAE（CatVAE）を提案する。
• カテゴリカルな潜在空間を用いたエンドツーエンド学習を可能にする、CatVAEモデルのための新たな下界（ELBO）を導出する。
• 潜在コードと生成データの間の相互情報量を最大化するように拡張したInfoCatVAEを提案し、コントラスト型の目的関数を用いる。
• モンテカルロサンプリングを用いた微分可能近似を用いて、InfoGANフレームワークを変更し、相互情報量を最大化する。
• 順序データにおける性能を評価するために、再帰的エンコーダーとデコーダーを採用し、高容量な環境でも安定性を示す。
• 自由事前分布パrameter化に起因する不安定性を回避しつつ、学習の安定性を維持するため、固定事前分布を採用する。

実験結果

リサーチクエスチョン

• RQ1 VAEフレームワークにおいて固定されたマルチモーダル事前分布を用いることで、構造的複雑性が最小限であっても、効果的な分離可能な表現学習が可能になるか？
• RQ2 ガウス事前分布をカテゴリカル事前分布に置き換えると、学習された表現の解釈可能性と分離性にどのような影響を与えるか？
• RQ3 潜在コードと生成データの間の相互情報量の最大化は、生成品質と分離性をどの程度向上させるか？
• RQ4 提案されたモデルは、順序データモデリングのような高容量な設定でも、安定性を維持するか？

主な発見

• 生成サンプルと推定されたカテゴリの間の交差エントロピーは1.62にまで低下し、CatVAEの2.03を著しく上回り、より強い相互情報量学習が実現していることが示された。
• 構造的複雑性が最小限であっても、高品質で分離可能なサンプルを生成でき、サンプリングタスクにおいてAAEを凌駆する性能を示した。
• 順序付きMNIST（28×28の時系列として扱う）では、InfoCatVAEは生成性能と分離性を維持している一方、自由事前分布を用いたモデルは安定化に失敗した。
• 固定されたマルチモーダル事前分布は、高容量な環境でも安定性を提供し、自由事前分布アプローチで一般的に見られる不安定性を防止した。
• CatVAEの導出されたELBOは、ソフトクラスタリング目的関数と自然に結びつき、モデルの経験的安定性と分離性性能の背後にある理由を説明できる。
• InfoCatVAEは条件付き生成と構造的な潜在空間を可能にし、顕著な属性が分離可能で解釈可能になった。