[論文レビュー] Disentangled VAE Representations for Multi-Aspect and Missing Data

Samuel Ainsworth, Nicholas J. Foti+1 more|arXiv (Cornell University)|Jun 24, 2018

Generative Adversarial Networks and Image Synthesis参考文献 15被引用数 7

ひとこと要約

この論文では、欠損データ下でも堅牢な生成と再構成を可能にするために、複数の側面（例：ビュー、モダリティ）にわたる変分オートエンコーダー（VAE）を因子化するfactVAEを提案する。後方分布の集約にエキスパートの積（PoE）を用い、グループスパースな事前分布を導入することで、離散化を強制する。factVAEは、モーショングラフやマルチポーズ顔データセットにおいて、限られた観測値や不完全な観測値下でも、最先端の再構成性能を達成しており、解釈可能で分離された潜在表現を生成する。

ABSTRACT

Many problems in machine learning and related application areas are fundamentally variants of conditional modeling and sampling across multi-aspect data, either multi-view, multi-modal, or simply multi-group. For example, sampling from the distribution of English sentences conditioned on a given French sentence or sampling audio waveforms conditioned on a given piece of text. Central to many of these problems is the issue of missing data: we can observe many English, French, or German sentences individually but only occasionally do we have data for a sentence pair. Motivated by these applications and inspired by recent progress in variational autoencoders for grouped data, we develop factVAE, a deep generative model capable of handling multi-aspect data, robust to missing observations, and with a prior that encourages disentanglement between the groups and the latent dimensions. The effectiveness of factVAE is demonstrated on a variety of rich real-world datasets, including motion capture poses and pictures of faces captured from varying poses and perspectives.

研究の動機と目的

• 完全に観測された入力を必要とする従来のVAEが欠損観測を持つ多様な側面のデータに対して失敗する中で、深層生成モデルを多様な側面のデータに適用する課題に対処すること。
• 複数のデータ側面（例：ビュー、モダリティ、センサーグループ）を統合的にモデル化しつつ、解釈可能性と耐性を維持する統一されたフレームワークの構築。
• 異なる側面がスパースで重複のない潜在次元の部分集合にリンクされるようにすることで、潜在次元と側面の間の分離を強制し、潜在表現の解釈可能性と一般化性能を向上させること。
• 共有スパース性と一貫した側面固有エンコーダーの集約を活用することで、低データ環境下での再構成性能の向上。
• 事前補完処理を要せず、任意の欠損パターンを扱える原理的かつ一貫した手法の提供。

提案手法

• VAEのエンコーダーとデコーダーを側面固有の写像に因子化し、各側面を独立に処理した後、一貫した方法で統合可能にする。
• エキスパートの積（PoE）フレームワークを用いて、側面固有の変分後方分布を統合し、観測された側面が増えるほど後方分布エントロピーが低下することを保証する。
• エンコーダーとデコーダーの重みにグループスパースな事前分布を適用し、各側面が潜在次元の別個の部分集合にリンクされるようにスパース性を強制する。
• エンコーダーとデコーダーのコンポーネント間で共有スパース性を課すことにより、一貫した潜在空間のサポートを確保し、一般化性能を向上させる。
• 推論（エンコーダー）と生成（デコーダー）の両方で深層ニューラルネットワークを用い、確率的勾配変分推論によりパラメータを最適化する。
• 再パラメータライゼーショントリックを用いて、学習および推論時に欠損データが存在する状況でも、モデル全体をエンドツーエンドで訓練可能にする。

実験結果

リサーチクエスチョン

• RQ1 学習時または推論時に一部の側面が欠損している状況下でも、深層生成モデルが多様な側面のデータを効果的に再構成できるか。
• RQ2 多様な側面のVAEにおいて、側面と潜在次元の間の分離をどのように強制できるか。これにより、解釈可能性と一般化性能が向上する。
• RQ3 側面固有エンコーダーの集約にエキスパートの積（PoE）を用いることで、従来のVAEと比較して、欠損データ下での後方分布近似と再構成性能が向上するか。
• RQ4 エンコーダーとデコーダーの重みに共有スパース性を導入することで、多様な側面のデータにおいてより解釈可能で耐性のある表現が得られるか。
• RQ5 factVAEは、JMVAE や標準VAE と比較して、低データ環境下でどの程度の性能を示すか。

主な発見

• 10本のシーケンスで学習した際、ホールドアウトされた歩行シーケンスにおいて、89というスコアで、モーショングラフデータセットで最先端のテスト対数尤度を達成した。これは、ベースラインのJMVAE やスパースでないfactVAEバージョンを上回った。
• CVL顔データベースでは、未学習の被験者に対して、欠損したポーズ（例：歯をのぞかせた笑顔）を正常に再構成し、1つのビューでの条件付けでも現実的で信頼性のあるサンプルを生成した。
• モーショングラフおよび顔データセットの両方で、優れた再構成品質を示した。定性的な結果から、複雑なポーズや顔の特徴の正確な回復が確認された。
• 学習されたスパース性パターンは解釈可能であった。例えば、四肢とコア部分が別個の潜在次元にリンクされており、背骨と頭部のグループは複数のコンポONENTに重複して関連していた。
• 合成バー実験では、factVAEは真のスパース構造を正しく回復した。これは、意味的で分離された表現を学習できる能力を裏付けた。
• グループスパース事前分布（λ=1）の導入により、非スパースベースライン（λ=0）と比較して性能が著しく向上した。10試行設定では、対数尤度が555から600に上昇し、スパース性が耐性に重要であることを示した。