[論文レビュー] Improving Disentangled Representation Learning with the Beta Bernoulli Process

Prashnna Gyawali, Zhiyuan Li+5 more|arXiv (Cornell University)|Sep 3, 2019

Adversarial Robustness in Machine Learning参考文献 39被引用数 4

ひとこと要約

本稿では、インド・バンケット過程（IBP）を非パrametricな事前分布として用いる variational autoencoder（IBP-VAE）を提案する。後方分布の表現能力を高めつつ要因の独立性を維持することで、特に複雑なデータにおいて、より優れた分解能を得られる。IBP-VAEは、MNIST、3D Chairs、dSprites、および臨床的 ECG と皮膚病変データセットにおいて、最先端の手法を上回り、余計な要因の分解能が向上し、下流タスクの精度も向上した。

ABSTRACT

To improve the ability of VAE to disentangle in the latent space, existing works mostly focus on enforcing independence among the learned latent factors. However, the ability of these models to disentangle often decreases as the complexity of the generative factors increases. In this paper, we investigate the little-explored effect of the modeling capacity of a posterior density on the disentangling ability of the VAE. We note that the independence within and the complexity of the latent density are two different properties we constrain when regularizing the posterior density: while the former promotes the disentangling ability of VAE, the latter -- if overly limited -- creates an unnecessary competition with the data reconstruction objective in VAE. Therefore, if we preserve the independence but allow richer modeling capacity in the posterior density, we will lift this competition and thereby allow improved independence and data reconstruction at the same time. We investigate this theoretical intuition with a VAE that utilizes a non-parametric latent factor model, the Indian Buffet Process (IBP), as a latent density that is able to grow with the complexity of the data. Across three widely-used benchmark data sets and two clinical data sets little explored for disentangled learning, we qualitatively and quantitatively demonstrated the improved disentangling performance of IBP-VAE over the state of the art. In the latter two clinical data sets riddled with complex factors of variations, we further demonstrated that unsupervised disentangling of nuisance factors via IBP-VAE -- when combined with a supervised objective -- can not only improve task accuracy in comparison to relevant supervised deep architectures but also facilitate knowledge discovery related to task decision-making. A shorter version of this work will appear in the ICDM 2019 conference proceedings.

研究の動機と目的

• 従来の VAE が、後方分布の表現能力に制限があるために、複雑な生成要因の分解能に限界を示す問題に対処すること。
• VAE における後方独立性と表現能力のトレードオフを調査すること、特に制限された表現能力が分解能に与える影響を明らかにすること。
• 非パrametricな事前分布を用いて、後方分布の表現能力を高めつつ要因の独立性を保つことで、分解能を向上させること。
• 臨床データにおける余計な要因の非教師的分解能が、解釈可能性と下流タスクのパフォーマンスを向上させることを実証すること。
• ベンチマークデータセットおよび複雑で高次元の変動を示す未開拓の臨床データセットにおいて、手法の有効性を検証すること。

提案手法

• IBP-VAE は、無限個の独立した潜在要因をモデル化できる非パrametricな事前分布としてインド・バンケット過程（IBP）を採用し、柔軟な後方表現能力を実現する。
• IBP 事前分布により、データに応じてモデルの複雑さが拡大し、過度に制限された後方分布が引き起こす再構成と分解能の葛藤を回避する。
• コンcrete分布と Kumaraswamy 分布を用いて、IBP のベルヌーイおよびベータ変数を微分可能に近似し、バックプロパゲーションによるエンド・ツー・エンド学習を可能にする。
• 標準的な VAE 目的関数に KL 散発正則化を適用するが、事前分布の構造により要因の独立性を保ちつつ、より豊かな後方表現を可能にする。
• 臨床データの文脈では、ECG シグナルにおけるペーシングアーティファクトなど、タスク関連要因と余計な要因を分離するため、条件付き IBP-VAE（cIBP-VAE）を導入する。
• 畳み込みエンコーダーとデコーダーを用い、バッチ正則化と ReLU 活性化関数を組み合わせ、画像および臨床シグナルデータに最適化されたアーキテクチャを採用する。

Figure 1: Outline of the presented IBP-VAE (blue) for unsupervised disentangled representation learning, and cIBP-VAE (blue and orange) for the combination with supervised task learning.

実験結果

リサーチクエスチョン

• RQ1 VAE の後方密度の表現能力を高めることで、生成要因が複雑な場合に分解能が向上するか？
• RQ2 IBP のような非パrametricな事前分布は、より豊かな後方表現を可能にしつつ要因の独立性を維持できるか？ これにより、再構成と分解能の目的の衝突を軽減できるか？
• RQ3 IBP-VAE は、多様な生成要因を有するベンチマークデータセットにおいて、最先端の分解能 VAE と比較してどのように性能を発揮するか？
• RQ4 IBP-VAE を用いた余計な要因の非教師的分解能は、高次元の変動を示す臨床データにおける教師ありタスクのパフォーマンスを向上させられるか？
• RQ5 IBP-VAE は、現実の臨床データにおいて、解釈可能で意味的な意味を持つ要因をどれほど特定し、分解能できるか？

主な発見

• MNIST、3D Chairs、dSprites において、IBP-VAE は β-VAE や β-TCVAE と比較して、定性的および定量的な評価で最先端の分解能性能を達成した。
• dSprites データセットでは、IBP-VAE が回転やスケーリングといった連続的要因を明確に分解能し、分解能指標でも明確な分解能が確認された。
• ECG データセットでは、cIBP-VAE が c-VAE よりもペーシングアーティファクトの欠如を顕著に改善して再構成した（p < 0.01）。これは、複雑な余計な要因のモデリング能力の向上を示している。
• cIBP-VAE はペーシングアーティファクト要因を成功裏に分解能しており、異なるサンプル間で表現を入れ替えることで、再構成におけるアーティファクトの有無を転送することができた。
• cIBP-VAE のトリガー単位を無効化したところ、再構成シグナルにペーシングアーティファクトが導入された。これは、特定の余計な要因が正しく分解能されていることを裏付けた。
• 臨床的皮膚病変解析では、cIBP-VAE は c-VAE と同等の再構成精度を達成したが、アーティファクト関連要因の分解能が優れており、解釈可能性とタスクパフォーマンスの向上が見られた。

Figure 2: [Best viewed in color] (a)-(e): Images generated by traversal along a single latent unit (over a range of [-3, 3]) on the latent representation encoded from a random sample (each row). (f): Triggering capacity of the IBP-VAE: column one: original images; column two: reconstructed images; c