[論文レビュー] Structured Disentangled Representations

Babak Esmaeili, Hao Wu+7 more|arXiv (Cornell University)|Apr 6, 2018

Generative Adversarial Networks and Image Synthesis参考文献 34被引用数 58

ひとこと要約

本論文は階層的に因子化されたVAE（HFVAE）を、ブロック間およびブロック内の独立性を制御する2段階の目的で導入し、離散的因子の分離を実現するとともに、見たことのない因子組み合わせへの一般化を向上させる。

ABSTRACT

Deep latent-variable models learn representations of high-dimensional data in an unsupervised manner. A number of recent efforts have focused on learning representations that disentangle statistically independent axes of variation by introducing modifications to the standard objective function. These approaches generally assume a simple diagonal Gaussian prior and as a result are not able to reliably disentangle discrete factors of variation. We propose a two-level hierarchical objective to control relative degree of statistical independence between blocks of variables and individual variables within blocks. We derive this objective as a generalization of the evidence lower bound, which allows us to explicitly represent the trade-offs between mutual information between data and representation, KL divergence between representation and prior, and coverage of the support of the empirical data distribution. Experiments on a variety of datasets demonstrate that our objective can not only disentangle discrete variables, but that doing so also improves disentanglement of other variables and, importantly, generalization even to unseen combinations of factors.

研究の動機と目的

• 深層生成モデルにおける分離可能な表現の必要性を動機づける。
• 変数ブロック間およびブロック内の独立性を制御する2レベルの階層的目的を開発する。
• データと表現の相互情報、事前分布との整合、データ分布のカバレッジの間のトレードオフを明示的に管理するよう、VAE目的を一般化する。
• 離散的因子の分離が他の変数の分離性を高め、一般化を改善できることを示す。

提案手法

• VAE目的を、生成モデルと推論モデルの間のKL発散として再解釈する。
• VAE目的を、データ–z同定性、相互情報の制御、および周辺分布の整合性を表す4つの項に分解する。
• ブロック内および個体内変数間の総相関（TC）を介して統計的独立性を強制する、2レベルの階層的分解を導入する。
• 項間のトレードオフとそれらの影響を示すため、一般化されたVAE目的の統一的な見方を提供する。
• HFVAEが離散的因子を分離し、未見の因子組み合わせへの一般化を改善できることを示す。

実験結果

リサーチクエスチョン

• RQ1 2レベルの階層的目的は、離散的因子を分離し、連続変数の分離を改善できるか？
• RQ2 ブロック内および変数内の総相関を明示的に制御することは、未見の因子組み合わせへの一般化を高めるか？
• RQ3 相互情報、事前分布整合、データ分布カバレッジのトレードオフは、分離の品質にどう影響するか？
• RQ4 HFVAEは訓練データに存在しない潜在的特徴の組み合わせを回復できるか？

主な発見

• HFVAEs can disentangle discrete variables and improve disentanglement of other variables.
• The hierarchical objective yields better generalization to unseen combinations of latent factors.
• The approach provides a unified perspective on trade-offs in VAE objective modifications.
• Empirical results on datasets like dSprites, MNIST, Fashion-MNIST, CelebA, and 20Newsgroups support improved disentanglement and generalization.