[論文レビュー] Variational Inference of Disentangled Latent Concepts from Unlabeled Observations

Abhishek Kumar, Prasanna Sattigeri+1 more|arXiv (Cornell University)|Nov 2, 2017

Adversarial Robustness in Machine Learning被引用数 125

ひとこと要約

DIP-VAE を提案する。推定された事前分布を正則化して因子化された潜在表現を奨励する、分離可能な潜在推論フレームワークで、新しい SAP 指標を導入して分離性を測定し、再構成性能も高い。

ABSTRACT

Disentangled representations, where the higher level data generative factors are reflected in disjoint latent dimensions, offer several benefits such as ease of deriving invariant representations, transferability to other tasks, interpretability, etc. We consider the problem of unsupervised learning of disentangled representations from large pool of unlabeled observations, and propose a variational inference based approach to infer disentangled latent factors. We introduce a regularizer on the expectation of the approximate posterior over observed data that encourages the disentanglement. We also propose a new disentanglement metric which is better aligned with the qualitative disentanglement observed in the decoder's output. We empirically observe significant improvement over existing methods in terms of both disentanglement and data likelihood (reconstruction quality).

研究の動機と目的

• ラベルなしの観測データから不変性・転移性・解釈性のために、分離された潜在因子の学習を動機づける。
• 推定された事前分布を明示的に正則化して分離性を促進する、変分推論アプローチの開発。
• デコーダ出力と整合する実用的な分離指標（SAP）の導入。
• データセット全体で、分離性とデータ尤度の双方で基準手法（VAE、beta-VAE）を上回る実証的改善を示す。

提案手法

• 潜在的分離 prior を生成モデルとして用いた、モーアタイズされた変分推論フレームワーク（VAE）の採用。
• モーメントを一致させることで推定済み事前 q_phi(z) と分離済み事前 p(z) との差を罰する正則化項を導入し、潜在次元間の相関を効果的に低減。
• 2つの DIP-VAE 変種を定義: DIP-VAE-I は Cov_p(x)[mu_phi(x)] の対角を 1、非対角を 0 に正則化; DIP-VAE-II は Cov_q_phi(z)[z] を同様に正則化。
• lambda_od で重み付けされた追加の分離項と、lambda_d（2つの変種）の対角正則化項を加えた ELBO を最適化。
• beta-VAE と比較し、DIP-VAE が beta-VAE に見られる再構成と潜在表現の分離性の緊張を回避することを主張。
• 分類器の訓練を必要とせず、定性的な分離性と相関する分離可能性スコアとして SAP（Separated Attribute Predictability）を提案。

実験結果

リサーチクエスチョン

• RQ1 分離済み潜在因子は、分離済み先行分布を用いた変分推論によりラベルなしの観測から学習できるか。
• RQ2 推定された事前に対する明示的なモーメント一致正則化は、再構成品質を損なうことなく分離性を改善するか。
• RQ3 SAP は Z-diff のような既存指標よりもデコーダーレベルの分離性との整合性が高いか。
• RQ4 DIP-VAE の各変種は、データセット全体で分離性と再構成の双方の観点から VAE および beta-VAE とどう比較されるか。
• RQ5 実データと合成データセットで DIP-VAE を適用した場合の分離性と再構成のトレードオフはどうなるか。

主な発見

• DIP-VAE-I および DIP-VAE-II は 2D Shapes および CelebA で VAE および beta-VAE より高い分離性スコア（SAP、Z-diff）を達成し、DIP-VAE-II は分離性と再構成のバランスが有利。
• SAP スコアは潜在的 traversal における定性的な分離とより良く相関し、Z-diff は誤解を招くことがある。
• DIP-VAE-I は特定データセットでZ-diffを大幅に高めつつ再構成の損失が小さいが、因子を潜在変数間で分割する可能性がある; DIP-VAE-II はより良いトレードオフを提供することが多い。
• CelebA では、DIP-VAE の変種が属性関連潜在の分離性を改善し、属性ベースの評価タスクでより SNP に似た高い性能を示す。
• beta-VAE は高い beta 値で再構成品質が劣化しがない一方、DIP-VAE は分離性を向上させつつ再構成も競争力を保つ。