[論文レビュー] Continuous Hierarchical Representations with Poincaré Variational Auto-Encoders

Émile Mathieu, Charline Le Lan+3 more|arXiv (Cornell University)|Jan 17, 2019

Generative Adversarial Networks and Image Synthesis参考文献 44被引用数 49

ひとこと要約

本論文は、Poincaré球 latent spaceを用いたVAEを提案し、二つのガウス一般化（Riemannian normalとwrapped normal）、幾何学を意識したデコーダを導出し、Euclidean VAEsより一般化と階層表現の回復が改善されることを示す。

ABSTRACT

The variational auto-encoder (VAE) is a popular method for learning a generative model and embeddings of the data. Many real datasets are hierarchically structured. However, traditional VAEs map data in a Euclidean latent space which cannot efficiently embed tree-like structures. Hyperbolic spaces with negative curvature can. We therefore endow VAEs with a Poincaré ball model of hyperbolic geometry as a latent space and rigorously derive the necessary methods to work with two main Gaussian generalisations on that space. We empirically show better generalisation to unseen data than the Euclidean counterpart, and can qualitatively and quantitatively better recover hierarchical structures.

研究の動機と目的

• データをユークリッド空間ではなく双曲空間に埋め込むことによって、階層的表現の学習を動機づける。
• Poincaré ball latent spaceを用いた変分オートエンコーダ(framework)を開発する。
• Poincaré ball上の事前分布と後部分布のための二つのガウス一般化を導出・実装する。
• 双曲幾何を明示的に尊重するデコーダを設計し、再構成と潜在表現の解釈性を向上させる。
• 合成データ、MNIST、およびグラフデータセットでより良い一般化と解釈可能な階層を経験的に示す。

提案手法

• VAEの潜在空間としてPoincaré ballモデルを採用する。
• ボール上の二つのガウス一般化を定義する：リーマン正規分布と wrapped 正規分布、それぞれの密度と再パラメータ化可能なサンプリング方式を備える。
• 超曲線的先験分布 p(z) = N_B^d(0, σ0^2) を用い、変分族 q(z|x) = N_B^d(μ, σ^2) 。
• 出力写像に双曲幾何を組み込むデコーダアーキテクチャ（gyroplane層）を提案する。
• Poincaré ball上で再パラメータ化されたモンテカルロ推定を用いてELBOを最大化することにより訓練する。
• エンコーダの出力を指数写像を介したFréchet平均として、後部分布には正の歪みを用いてパラメータ化する。

実験結果

リサーチクエスチョン

• RQ1 双曲空間（Poincaré）潜在空間は、データの階層構造をEuclidean VAEよりもよく捉えることができるか？
• RQ2 Poincaré ball上の二つのガウス一般化（リーマン正規と wrapped 正規）は、VAEにおける事前分布・事後分布のモデル化としてどのように比較されるか？
• RQ3 幾何学を意識したデコーダは一般化と潜在階層の解釈性を改善するか？
• RQ4 合成の階層構造データ、MNIST、およびグラフデータに対してPoincaré VAEを適用した場合、一般化と下流タスクの性能にはどのような経験的利得が生じるか？

主な発見

• Poincaré VAEsは、未見データへの一般化においてEuclidean VAEsを上回り、合成の分岐データとMNISTで特に低次元の潜在表現で顕著である。
• Wrappedとリーマン正規の一般化は、Poincaré ball上で再パラメータ化と密度公式を扱いやすくし、リーマン正規は一部設定でわずかな利点を提供する。
• 幾何学を意識したデコーダ（gyroplane層）は双曲潜在空間を活用するうえで重要であり、アブレーション実験はベースラインデコーダより性能向上を示す。
• Poincaré VAEからのMNIST埋め込みは2D潜在空間でより高い数字分類精度を示し、より識別的な階層構造を示唆する。
• グラフデータセットにおけるリンク予測をEuclidean VAEと比較してPoincaré VAEが改善し、階層的ネットワークデータの一般化が向上することを示す。