[論文レビュー] Disentangling Disentanglement in Variational Autoencoders

Émile Mathieu, Tom Rainforth+2 more|arXiv (Cornell University)|Dec 6, 2018

Adversarial Robustness in Machine Learning参考文献 55被引用数 52

ひとこと要約

この論文は、変分オートエンコーダ(VAE)の分離を、潜在空間の重なりと、構造化事前分布に一致する集約エンコーディングという二つの要因による潜在分解として一般化し、事前分布の選択とalpha/betaを用いた新しい目的関数が、単純な独立性を超えた豊かでカスタマイズ可能な表現を生み出す方法を示す。

ABSTRACT

We develop a generalisation of disentanglement in VAEs---decomposition of the latent representation---characterising it as the fulfilment of two factors: a) the latent encodings of the data having an appropriate level of overlap, and b) the aggregate encoding of the data conforming to a desired structure, represented through the prior. Decomposition permits disentanglement, i.e. explicit independence between latents, as a special case, but also allows for a much richer class of properties to be imposed on the learnt representation, such as sparsity, clustering, independent subspaces, or even intricate hierarchical dependency relationships. We show that the $β$-VAE varies from the standard VAE predominantly in its control of latent overlap and that for the standard choice of an isotropic Gaussian prior, its objective is invariant to rotations of the latent representation. Viewed from the decomposition perspective, breaking this invariance with simple manipulations of the prior can yield better disentanglement with little or no detriment to reconstructions. We further demonstrate how other choices of prior can assist in producing different decompositions and introduce an alternative training objective that allows the control of both decomposition factors in a principled manner.

研究の動機と目的

• 潜在空間の分解として、重なりと事前構造整合の二因子を用いるという一般的な分離の概念を動機づける。
• 標準的な分離定義が複雑なデータに対して持つ制限を示し、より柔軟な分解フレームワークを実証する。
• beta-VAEを分析して、潜在の重なりをどのように制御し、事前の選択が分離にどのように影響するかを理解する。
• 分解の二要因を明示的に正則化する別の目的関数を提案し、構造化表現（例：スパース性、クラスタリング）を可能にする。

提案手法

• VAEにおける分解を、適切な潜在重なりと事前と一致する集約エンコーディングという二つの要因を満たすこととして定義する。
• annealed priorとデコーダ側再構成項、加えてエンコーダの最大エントロピー正則化を伴う修正ELBOとしてbeta-VAEを関連付ける。
• ガウス分布の場合の潜在空間スケーリングと事前アニーリングを用いた標準ELBOへの等価性を示す理論結果を提供する。
• 分解の第二の要因を制御するために、q(z)とp(z)の間の発散項を追加する目的関数L_{alpha,beta}を導入する。
• 軸整列分離、クラスタリング、スパース性を研究するため、異方性 priors や非ガウス分布 priors を用いた実験を行う。
• スパース性に焦点を当てたpriorを提示し、スパース性指標と再構成性能で評価する。

実験結果

リサーチクエスチョン

• RQ1 独立性を超えて、複雑なデータ生成過程を考慮できるように、分離を一般化できるか。
• RQ2 潜在重なり I(x; z) と集約潜在エンコードが事前分布と一致することが、有用な潜在分解を達成するうえでどのような役割を果たすか。
• RQ3 事前構造を変更し、q(z)に明示的な正則化を導入することで、分離を改善し、スパース性やクラスタリングのような代替分解を可能にできるか。
• RQ4 beta-VAEは二因子分解とどのように関連し、両方の因子を独立して制御するように目的関数を再定式化できるか。
• RQ5 非等方的な priors やスパース性/クラスタリングを目的とした priors は、再構成を損なうことなく分離の実質的な改善をもたらすか。

主な発見

• beta-VAEは主にエンコーダの最大エントロピー効果を通じて潜在重なりを制御するが、等方ガウス priors の回転不変性によってその利点が制限される。
• ガウス priors とエンコーダの場合、beta-VAEは標準ELBOの潜在空間スケーリングの再強調最適化に等価であり、定数項を除けば同等である。
• 等方的ガウス priors の回転不変性は分離を妨げる可能性があり、構造化 priors を用いてこの不変性を破ると、再構成品質を固定したまま分離が改善される。
• 集約後側を構造化 priors に一致させる（alpha によって）ことは、q(z) と p(z) の整合性を改善し、クラスタリングやスパース性などの代替分解を可能にする。
• 非等方 priors（例：anisotropic Gaussian や Student-t 混合分布）は、同様の再構成性能でより良い分離スコアを示すことができる。Fashion-MNIST や合成データセットで、スパース性やクラスタリングを促進する priors はこれを達成する。
• β（重なり）とα（事前整合性）の両方の因子を含む目的関数を用いると、再構成を大きく損なうことなく、スパースでクラスタ化された潜在表現の学習を可能にする。