[論文レビュー] Learning Hierarchical Priors in VAEs

Alexej Klushyn, Nutan Chen+3 more|arXiv (Cornell University)|May 13, 2019

Generative Adversarial Networks and Image Synthesis参考文献 30被引用数 6

ひとこと要約

本稿では、標準正規事前分布による過剰正則化を克服するため、重要度重み付き境界を用いた制約付き最適化フレームワークを用いて、非自明でデータ適応的な事前分布を学習する階層的事前分布を変分オートエンコーダー（VAEs）に提案する。この手法により、滑らかで解釈性の高い潜在表現が得られ、MNIST、Fashion-MNIST、OMNIGLOTで最先端の対数尤度性能を達成するとともに、データ多様体のトポロジーを保持する。

ABSTRACT

We propose to learn a hierarchical prior in the context of variational autoencoders to avoid the over-regularisation resulting from a standard normal prior distribution. To incentivise an informative latent representation of the data, we formulate the learning problem as a constrained optimisation problem by extending the Taming VAEs framework to two-level hierarchical models. We introduce a graph-based interpolation method, which shows that the topology of the learned latent representation corresponds to the topology of the data manifold---and present several examples, where desired properties of latent representation such as smoothness and simple explanatory factors are learned by the prior.

研究の動機と目的

• 標準正規事前分布によるVAEの過剰正則化が、意味のあるデータ構造を隠蔽する要因となる問題に対処すること。
• データ多様体の固有トポロジーを反映する階層的事前分布を学習し、解釈性と表現品質を向上させること。
• Taming VAEsで提案された制約付き最適化フレームワークを、連続混合事前分布を持つ二段階階層モデルに拡張すること。
• 事後分布崩壊を回避し、潜在表現の分離性を向上させる最適化アルゴリズムを開発すること。
• データ多様体構造を保持するグラフベースの補間法を用いて、学習済み潜在空間の質を検証すること。

提案手法

• 標準正規事前分布を、第一段階の潜在変数と第二段階の連続混合事前分布から構成される階層的事前分布に置き換えたVAE目的関数を、ラグランジュ乗数を用いた制約付き最適化問題として定式化する。
• 不確実な周辺尤度を近似するために重要度重み付き境界を用い、微分可能な学習を可能にする。
• GECOにインspiredされた新規最適化アルゴリズムを採用し、事後分布崩壊の回避と符号化品質の向上を図る。
• 潜在空間における最近傍探索を用いたグラフベースの補間法を適用し、データ多様体構造へのトポロジカルな忠実度を評価する。
• 再構成誤差と事前分布項のバランスを取るため、REWO（Reconstruction-Weighted Optimization）およびGECOに基づくトレーニングスケジュールを導入する。
• 二段階推論モデルを採用し、第一段階はデータを符号化し、第二段階は階層的事前分布をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 VAEにおける階層的事前分布は、標準正規事前分布と比較して、より情報量が多く、過剰正則化が少ない潜在表現をもたらすか？
• RQ2 提案された階層的事前分布を用いた制約付き最適化フレームワークは、潜在空間におけるデータ多様体のトポロジー構造を保持するか？
• RQ3 log尤度と補間品質の観点から、VampPrior や IWAE といった最先端手法と比較して、階層的事前分布の性能はどのように異なるか？
• RQ4 階層的事前分布は、単純な回帰により角度などの分離可能な変動要因（例：振り子の角度）を学習できるか？
• RQ5 グラフベースの補間法は、標準ベースラインと比較して、潜在空間における滑らかで現実的と思われる遷移を明らかにできるか？

主な発見

• VHP + REWO手法は、動的MNISTでテスト対数尤度78.88を達成し、VampPrior（80.42）を上回り、最先端のベースラインと同等またはそれを上回る性能を示した。
• Fashion-MNISTでは、5,000個の重要度サンプルを用いて負の対数尤度225.37を達成し、VampPrior（232.78）やIWAE（226.83）と同等またはそれ以上であった。
• 人間の運動データにおいて、VHPはVampPrior や IWAE よりも顕著に滑らかな補間を実現し、2階差分のRMSが低かった。
• 3D顔とチェアのデータセットでは、VHP + REWOはIWAEに比べてぼやけにくく、より現実的な補間を実現しており、定性的な比較で明確に示された。
• 階層的事前分布は振り子の角度を分離可能な要因として正しく学習でき、OLS回帰により正確に予測可能であり、解釈性を示した。
• グラフベースの補間法により、潜在空間のトポロジーがデータ多様体と一致していることが確認され、学習済み表現の構造的忠実度が裏付けられた。