[論文レビュー] Learning Disentangled Joint Continuous and Discrete Representations

Emilien Dupont|arXiv (Cornell University)|Mar 31, 2018

Generative Adversarial Networks and Image Synthesis参考文献 21被引用数 61

ひとこと要約

JointVAEは、連続型と離散型の潜在因子を無 supervision variational frameworkで分離学習し、離散因子が顕著な場合には連続のみの分離を上回る。

ABSTRACT

We present a framework for learning disentangled and interpretable jointly continuous and discrete representations in an unsupervised manner. By augmenting the continuous latent distribution of variational autoencoders with a relaxed discrete distribution and controlling the amount of information encoded in each latent unit, we show how continuous and categorical factors of variation can be discovered automatically from data. Experiments show that the framework disentangles continuous and discrete generative factors on various datasets and outperforms current disentangling methods when a discrete generative factor is prominent.

研究の動機と目的

• データの連続および離散生成因子の分離の必要性を動機づけ、対応する。
• 連続と離離散の潜在変数を同時にモデル化する変分オートエンコーダフレームワークを提案する。
• 多様なデータセットで連続因子とともに離散因子の無監督発見を可能にする。

提案手法

• 連続 z と離散 c を含む結合潜在分布 q(z, c|x) を導入する。
• Cz および Cc の容量を用意した z と c の分離可能な KL 項を含む beta-VAE 目的を拡張する。
• 離散変数を微分可能なサンプリングのために Gumbel-Softmax (Concrete) で緩和する。
• 潜在容量 Cz と Cc を分割して徐々に増やし、両方の潜在チャネルの学習を促す。
• z をガウス分布 q(z|x) で、 c を Gumbel-Softmax q(c|x) で表し、それらをデコードのために結合する。
• CNNベースの画像データに適合するエンコーダ/デコーダアーキテクチャを提供し、両タイプの潜在変数に対してリパラメータ化トリックを使用する。

実験結果

リサーチクエスチョン

• RQ1 VAEベースのフレームワークは無监督で連続および離散因子を分離学習できるか？
• RQ2 連続と離散潜在チャネル間の情報容量をどのように割り当て、崩壊を防いで一方のタイプに偏らないように増やすべきか？
• RQ3 JointVAEが混合因子データセット（MNIST、FashionMNIST、CelebA、Chairs）を無監督で分離学習する際の実証的可能性は？

主な発見

• JointVAEは MNIST で離散的な数字タイプと角度、厚さ、幅などの連続因子を分離する。
• FashionMNIST では袖丈や色など解釈可能な因子を発見する一方で、いくつかのクラスは依然として絡み合っている。
• CelebA では方位角、年齢、背景色などの因子を発見しつつ、現実的なサンプルを保持する。
• Chairs では回転やスタイルに関連する離散因子と連続変動を同時に識別する。
• dSprites における定量的評価は競争力のある分離スコアを示し、JointVAE は 4つの連続因子と1つの離散因子を捉える。
• 推論ネットワークは無监督で属性（例：方位角）を推定し、潜在操作を通じた画像編集を可能にする。