[論文レビュー] Independent Subspace Analysis for Unsupervised Learning of Disentangled Representations

Jan Stühmer, Richard E. Turner+1 more|arXiv (Cornell University)|Sep 5, 2019

Digital Media Forensic Detection参考文献 44被引用数 8

ひとこと要約

本論文では、損失関数を変更せずに、回転対称性のない潜在変数事前分布を提案することで、教師なしの分離表現学習を可能にする。潜在空間を独立した部分空間に構造化することにより、再構成と分離のトレードオフを緩和し、変分推論によるバイアスを低減し、標準的なELBO目的関数を用いて最先端の分離度を達成する。

ABSTRACT

Recently there has been an increased interest in unsupervised learning of disentangled representations using the Variational Autoencoder (VAE) framework. Most of the existing work has focused largely on modifying the variational cost function to achieve this goal. We first show that these modifications, e.g. beta-VAE, simplify the tendency of variational inference to underfit causing pathological over-pruning and over-orthogonalization of learned components. Second we propose a complementary approach: to modify the probabilistic model with a structured latent prior. This prior allows to discover latent variable representations that are structured into a hierarchy of independent vector spaces. The proposed prior has three major advantages: First, in contrast to the standard VAE normal prior the proposed prior is not rotationally invariant. This resolves the problem of unidentifiability of the standard VAE normal prior. Second, we demonstrate that the proposed prior encourages a disentangled latent representation which facilitates learning of disentangled representations. Third, extensive quantitative experiments demonstrate that the prior significantly mitigates the trade-off between reconstruction loss and disentanglement over the state of the art.

研究の動機と目的

• 回転対称性を持つ標準正規事前分布に起因する、標準VAEにおける固有の同定可能性の問題を解決すること。
• 変分推論が直交および削除された潜在成分に偏る傾向を軽減すること。
• β-VAE や β-TCVAE で観察される再構成と分離のトレードオフを解消すること。
• 標準ELBO目的関数を用いて、構造化された事前分布を通じて分離表現を可能にすること。
• 分離のための損失関数の修正に対する原理的で代替可能な手法を提供すること。

提案手法

• 回転対称性のない分布の族を潜在変数事前分布として提案し、標準正規事前分布の回転対称性を破ること。
• 潜在空間を独立した部分空間に分解するように事前分布を設計し、階層的な分離を可能にする。
• β重み付けや総相関ペナルティを含まない、標準VAE目的関数（ELBO）を用いる。
• 平均場近似と再パラメトリゼーション勾配を用いた変分推論を採用する。
• 各部分空間間で統計的独立性を強制しつつ、各部分空間内に内部構造を許容するように事前分布を設計する。
• 標準データセット上での定量的ベンチマーク（MIG、SAP、dciスコア）を用いて手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 構造化された潜在変数事前分布は、ELBO目的関数を変更せずに分離度を向上させることができるか？
• RQ2 事前分布における回転対称性の除去は、VAEにおける同定可能性の問題を解消できるか？
• RQ3 提案された事前分布は、変分推論が直交および削除された成分に偏る傾向を軽減できるか？
• RQ4 本手法は、β-VAE や β-TCVAE で観察される再構成と分離のトレードオフを緩和できるか？
• RQ5 新しい事前分布を用いることで、標準ELBOのみを用いて効果的に分離表現を学習できるか？

主な発見

• 提案された事前分布は再構成と分離のトレードオフを顕著に軽減し、複数のベンチマークでβ-VAE や β-TCVAE を上回る性能を達成する。
• 標準ELBOを用いることで、目的関数の変更なしに分離表現を達成する。
• 特に高β設定下で顕著なバイアスを示す変分推論の過剰な直交化および過剰な削除バイアスを緩和する。
• dSprites および他のデータセット上での実験により、最先端の手法と比較して優れたMIGおよびSAPスコアを達成する。
• 回転対称性のない事前分布は、複雑なデータ分布でさえも意味的で解釈可能な変動要因を発見可能にする。
• ICAのアブレーションスタディにより、標準的なVIおよびβ-VAEは直交解へのバイアスを強化するが、本手法の事前分布はこの病理を回避することが確認された。