[論文レビュー] Geometry-Aware Hamiltonian Variational Auto-Encoder

Clément Chadebec, Clément Mantoux+1 more|arXiv (Cornell University)|Oct 22, 2020

Generative Adversarial Networks and Image Synthesis参考文献 36被引用数 6

ひとこと要約

本論文は、動的に学習される計量を備えたリーマン多様体としての潜在空間をモデル化する幾何学的注意型ハミルトニアン変分オートエンコーダー（RHVAE）を提案する。この手法により、小規模データセット上での生成性能と意味のある補間性能が向上する。ハミルトニアン力学と計量に注意を払った潜在空間幾何学を統合することで、モデルはより明確な生成、滑らかな測地線補間、および標準VAEよりも優れたクラスタリングを達成する。

ABSTRACT

Variational auto-encoders (VAEs) have proven to be a well suited tool for performing dimensionality reduction by extracting latent variables lying in a potentially much smaller dimensional space than the data. Their ability to capture meaningful information from the data can be easily apprehended when considering their capability to generate new realistic samples or perform potentially meaningful interpolations in a much smaller space. However, such generative models may perform poorly when trained on small data sets which are abundant in many real-life fields such as medicine. This may, among others, come from the lack of structure of the latent space, the geometry of which is often under-considered. We thus propose in this paper to see the latent space as a Riemannian manifold endowed with a parametrized metric learned at the same time as the encoder and decoder networks. This metric is then used in what we called the Riemannian Hamiltonian VAE which extends the Hamiltonian VAE introduced by arXiv:1805.11328 to better exploit the underlying geometry of the latent space. We argue that such latent space modelling provides useful information about its underlying structure leading to far more meaningful interpolations, more realistic data-generation and more reliable clustering.

研究の動機と目的

• 潜在空間の構造の欠如により、標準VAEが小規模データセットで性能を発揮できない問題に対処する。
• 潜在空間幾何学を明示的にモデル化することで、データ生成および補間品質を向上させる。
• 潜在空間における学習されたリーマン計量を通じて、クラスタリングの信頼性とサンプルの現実性を向上させる。
• ハミルトニアンVAEフレームワークを拡張し、より良い事後分布近似を実現するための計量学習を統合する。
• 限られたサンプルでプライバシーが重要な分野（例：医療画像）において、信頼性の高い合成データ生成を可能にする。

提案手法

• エンコーダーおよびデコーダーネットワークと同時に学習されるパラメータ化された計量を備えたリーマン多様体としての潜在空間をモデル化する。
• 事後分布近似とサンプリング効率の向上を目的に、VAEフレームワークにハミルトニアンモンテカルロ力学を統合する。
• 正規化フローを用いて潜在空間内の複雑な事後分布をモデル化し、表現力を向上させる。
• ニューラルネットワークを介してリーマン計量テンソルをパラメータ化することで、幾何学的インダクティブバイアスを実現する計量を学習する。
• 確率的勾配降下法を用いて、幾何学的注意型事前分布および尤度関数を用いたエビデンス下限界（ELBO）を最適化する。
• 学習されたリーマン多様体上での測地線補間を適用し、データポイント間の滑らかで意味のある変換を生成する。

実験結果

リサーチクエスチョン

• RQ1 潜在空間におけるリーマン計量の学習が、小規模データセット上での生成性能を向上させるか？
• RQ2 計量に注意を払った潜在空間モデリングは、データポイント間のより意味的で滑らかな補間をもたらすか？
• RQ3 生成品質およびクラスタリング性能の観点から、提案手法RHVAEは標準VAEおよびハミルトニアンVAEと比較してどのように異なるか？
• RQ4 実世界の小規模データセット（MNIST、FashionMNIST、OASISなど）において、幾何学的注意モデリングがどの程度データ生成および再構成を向上させるか？
• RQ5 学習されたリーマン構造は、データ多様体の内在的構造を保存することで、クラスタリングを改善できるか？

主な発見

• 標準VAEと比較して、特に訓練サンプルが限られた小規模データセット上でも、RHVAEはより明確で現実的な生成サンプルを生成する。
• 学習されたリーマン潜在空間における測地線補間は、アフィン補間と比較して、より滑らかで一貫性のあるデータポイント間の遷移を実現する。
• 160サンプルのFashionMNISTデータセットにおいて、RHVAEはアフィン補間で見られるぼやけた現象を回避し、顕著に向上した視覚的品質を示した。
• アフィンおよび測地線計量の両方において、モデルはクラスタリング性能が向上し、特に測地線クラスタリングでは一貫性と構造保存性が高まった。
• Olivetti顔データセットでは、測地線補間がアフィン補間と比較して一貫した顔の向きを維持し、アーチファクトを低減した。
• 可視化された体積要素と補間品質の結果から、学習されたリーマン計量はデータ多様体の内在的幾何を効果的に捉えていた。