[論文レビュー] Disentangling by Factorising

Hyunjik Kim, Andriy Mnih|arXiv (Cornell University)|Feb 16, 2018

Digital Media Forensic Detection参考文献 49被引用数 423

ひとこと要約

FactorVAEは総相関ペナルティを導入し、VAEの因子分離潜在コード分布を奨励し、同様の再構成品質でbeta-VAEより分離を改善する。さらに頑健で識別器ベースの分離指標を提案し、InfoWGAN-GPと比較する。

ABSTRACT

We define and address the problem of unsupervised learning of disentangled representations on data generated from independent factors of variation. We propose FactorVAE, a method that disentangles by encouraging the distribution of representations to be factorial and hence independent across the dimensions. We show that it improves upon $β$-VAE by providing a better trade-off between disentanglement and reconstruction quality. Moreover, we highlight the problems of a commonly used disentanglement metric and introduce a new metric that does not suffer from them.

研究の動機と目的

• 独立したデータ因子と整列する分離表現の教師なし学習を動機づける。
• beta-VAEにおける分離と再構成のトレードオフを分析し、このバランスを改善する方法を提案する。
• 潜在コードの独立性を促進する Total Correlation ペナルティを導入し、検証する。
• 従来の指標の弱点を避ける頑健な分離指標を提案する。
• 知られている因子と未知の因子を含む複数のデータセットにおいて、FactorVAEをbeta-VAEおよびInfoWGAN-GPと比較する。

提案手法

• VAE目的関数に Total Correlation を加えることにより因子性の潜在分布を促進する：bar{q}(z) が周辺分布の積である場合、KL(q(z)||bar{q}(z))をペナルティとして課しつつ、対数尤度を最大化する。
• 密度比のトリックを用いて q(z) と bar{q}(z) からのサンプルを識別する識別器を用いて TC 項を近似する。
• 全データパスなしで bar{q}(z) を近似するために、置換ベースのサンプリング手続き（Alg. 1）を使用する。
• VAEとTC識別器を共同訓練し、TC勾配信号を gamma ハイパーパラメータでスケーリングする。
• FactorVAE（Alg. 2）の疑似コードを示し、データ空間ではなく潜在空間の発散の安定性に関する考慮事項を論じる。
• 正規化後の各次元の経験的分散の最小値を評価することにより、固定因子に対応する潜在次元を測定する、新たなハイパーパラメータ不要の分離指標を導入する。

実験結果

リサーチクエスチョン

• RQ1 潜在コードに対する Total Correlation ペナルティは、再構成品質を犠牲にすることなく分離を改善するか？
• RQ2 既知の因子と未知の因子を持つデータセットにおいて、分離と再構成の観点で FactorVAE は beta-VAE および InfoWGAN-GP とどのように比較されるか？
• RQ3 Higgins らの分離指標の弱点は何か、より頑健な代替案を提案できるか？
• RQ4 識別器ベースの TC 推定は、分離のための安定で効果的な最適化信号を提供できるか？

主な発見

• FactorVAE は 2D Shapes および 3D Shapes で、同等の再構成品質に対して beta-VAE より高い分離スコアを達成する。
• 提案された TC ベースのペナルティは潜在コードの Total Correlation を低減し、潜在次元間の独立性を改善する。
• 新しい分離指標は概念的によりシンプルで、ハイパーパラメータが不要で、従来の指標の失敗モードを回避する。
• InfoWGAN-GP は、検証された形状データセットにおいて一般的には VAE ベースの手法よりパフォーマンスが劣り、アーキテクチャに対して感度を示す。
• FactorVAE は、未知の因子を含むデータを含む複数のデータセットで、分離スコアが優れている一方で再構成品質も競争力があるかそれ以上を維持する。
• 識別器ベースの TC 推定は真の TC を過小評価する傾向があるが、TC を減少させることは訓練中の分離の改善と相関する。