[論文レビュー] Disentangling Disentanglement

Émile Mathieu, Tom Rainforth+2 more|arXiv (Cornell University)|Dec 6, 2018

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本論文は、制御された潜在的重複と構造的集約事前分布によって定義される、VAEにおける分解を通じた一貫性のあるフレームワークを導入する。$\beta$-VAEの成功は、これらの要因を管理していることに起因しており、回転不変性を破るために事前分布を変更することで、再構成品質を損なわずにより良い分解能が達成されることを示している。

ABSTRACT

We develop a generalisation of disentanglement in VAEs---decomposition of the latent representation---characterising it as the fulfilment of two factors: a) the latent encodings of the data having an appropriate level of overlap, and b) the aggregate encoding of the data conforming to a desired structure, represented through the prior. Decomposition permits disentanglement, i.e. explicit independence between latents, as a special case, but also allows for a much richer class of properties to be imposed on the learnt representation, such as sparsity, clustering, independent subspaces, or even intricate hierarchical dependency relationships. We show that the $\beta$-VAE varies from the standard VAE predominantly in its control of latent overlap and that for the standard choice of an isotropic Gaussian prior, its objective is invariant to rotations of the latent representation. Viewed from the decomposition perspective, breaking this invariance with simple manipulations of the prior can yield better disentanglement with little or no detriment to reconstructions. We further demonstrate how other choices of prior can assist in producing different decompositions and introduce an alternative training objective that allows the control of both decomposition factors in a principled manner.

研究の動機と目的

• VAEにおける分解能を、潜在的重複と集約事前分布構造という2つの要因によって支配される分解問題として再定式化すること。
• $\beta$-VAEが、特に潜在的重複の低減を通じて分解能を向上させる理由を、これらの2つの要因を制御することで説明すること。
• 標準的な$\beta$-VAEの目的関数が潜在的回転に対して不変であることを示し、これが分解能に与える影響を明らかにすること。
• 回転不変性を破るために事前分布を変更することで、再構成コストを最小限に抑えつつ、より優れた分解能が達成できることを示すこと。
• 多様な表現構造を可能にするために、潜在的重複と事前分布構造の両方を独立して制御できる原理的根拠に基づいた訓練目的関数を構築すること。

提案手法

• 分解能を、(a)適切な潜在表現の重複、および (b)望ましい事前分布構造に従う集約表現という2つの成分への分解として定義する。
• $\beta$-VAEを、$\beta$-正則化項によって主に潜在的重複を調整するものとして特徴づけ、等方的ガウス事前分布が回転不変性を引き起こすことを明らかにする。
• 非等方的または構造的事前分布といった、事前分布の変更を導入し、回転不変性を破り、分解能を向上させることを示す。
• 潜在的重複と事前分布構造の両方の制御を分離する新しい訓練目的関数を提案し、分解の微細な制御を可能にする。
• 集約事後分布と事前分布を用いて、潜在空間における望ましい構造的性質を分析および強制する。
• 新しい目的関数が、スパarsity、クラスタリング、階層的依存関係といった多様な分解構造を実現できることを実証する。

実験結果

リサーチクエスチョン

• RQ1 潜在変数の独立性を超えて、VAEにおける分解能を形式的にどのように特徴づけられるか？
• RQ2 潜在的重複は分解能の質にどのように寄与しているのか？ また、$\beta$-VAEのような既存の手法では、どのように制御されているか？
• RQ3 標準的な$\beta$-VAEの目的関数がなぜ潜在的回転に対して不変であるのか？ その結果、分解能にどのような影響を与えるか？
• RQ4 事前分布を変更することで、この不変性を破り、再構成品質を損なわず、分解能を向上させることは可能か？
• RQ5 多様な分解パターンに対応できる統一的な訓練目的関数を、潜在的重複と事前分布構造の両方を独立して制御できるようにどのように設計できるか？

主な発見

• VAEにおける分解能は、潜在表現の重複と集約事前分布構造という2つの要因によって支配される分解問題として最も適切に理解されるべきである。
• $\beta$-VAEが分解能を向上させる主な要因は、潜在的重複の低減であり、独立性の強制によるものではない。
• 標準的な$\beta$-VAEの目的関数は、等方的ガウス事前分布のおかげで、潜在的表現の回転に対して不変である。
• 非等方的または構造的事前分布を用いることで、この回転不変性を破り、再構成コストをほとんど増加させずに顕著な分解能の向上が達成できる。
• 代替的な事前分布により、スパarsity、クラスタリング、階層的依存関係といった多様な分解構造が実現可能である。
• 提案された訓練目的関数により、両分解要因の原理的かつ独立した制御が可能となり、表現特性の体系的探索が可能になる。