[論文レビュー] Latent Variable Modelling with Hyperbolic Normalizing Flows

Avishek Joey Bose, Ariella Smofsky+3 more|arXiv (Cornell University)|Feb 15, 2020

Generative Adversarial Networks and Image Synthesis参考文献 52被引用数 11

ひとこと要約

本稿では、階層的データのための確率的変分ベイズ推論における柔軟で逆写像可能な事後分布近似を可能にする、最初の双曲空間用正規化フローを導入する。Tangent Coupling (TC) と Wrapped Hyperboloid Coupling (WHC) を提案することで、効率的なサンプリングと正確な尤度推定を実現し、木構造データにおける密度推定およびグラフ再構築において、ユークリッド空間用フローおよび双曲空間VAEを上回る性能を発揮する。

ABSTRACT

The choice of approximate posterior distributions plays a central role in stochastic variational inference (SVI). One effective solution is the use of normalizing flows \cut{defined on Euclidean spaces} to construct flexible posterior distributions. However, one key limitation of existing normalizing flows is that they are restricted to the Euclidean space and are ill-equipped to model data with an underlying hierarchical structure. To address this fundamental limitation, we present the first extension of normalizing flows to hyperbolic spaces. We first elevate normalizing flows to hyperbolic spaces using coupling transforms defined on the tangent bundle, termed Tangent Coupling ($\mathcal{TC}$). We further introduce Wrapped Hyperboloid Coupling ($\mathcal{W}\mathbb{H}C$), a fully invertible and learnable transformation that explicitly utilizes the geometric structure of hyperbolic spaces, allowing for expressive posteriors while being efficient to sample from. We demonstrate the efficacy of our novel normalizing flow over hyperbolic VAEs and Euclidean normalizing flows. Our approach achieves improved performance on density estimation, as well as reconstruction of real-world graph data, which exhibit a hierarchical structure. Finally, we show that our approach can be used to power a generative model over hierarchical data using hyperbolic latent variables.

研究の動機と目的

• 階層的構造を持つデータのモデリングにおいて、ユークリッド空間用正規化フローの限界を解消すること。
• リーマン幾何学を活用し、逆写像性と取り扱いやすいヤコビアン行列式の両方を保ちながら、正規化フローを双曲空間へ拡張すること。
• 構造的データのための双曲潜在変数モデルにおける、効率的で微分可能な事後分布近似を可能にすること。
• ユークリッド空間および既存の双曲空間手法と比較して、階層的データにおける密度推定、再構築、生成タスクの性能向上を実証すること。

提案手法

• 双曲面多様体の接バンドル上に定義されたコアリング層であるTangent Coupling (TC) を提案し、双曲空間内での逆写像可能な変換を可能にする。
• 双曲幾何を明示的に活用して複雑な事後分布をモデル化できる、完全に逆写像可能で学習可能な変換であるWrapped Hyperboloid Coupling (WHC) を導入する。
• 双曲空間のローレンツモデルを用いて、TCおよびWHCの体積変化係数を導出し、O(n)時間で効率的な計算を実現する。
• 数値的安定性と明示的な幾何学的公式を提供するため、数値的安定性に優れたローレンツモデル（双曲面）を採用し、多様体上での微分可能な操作を可能にする。
• 双曲面多様体上にベース分布を設定し、逐次的な逆写像可能な変換を適用することで、複雑な事後分布の学習を実現する。
• 双曲潜在空間を備えた変分オートエンコーダーにフレームワークを適用し、階層的データの生成モデリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 正規化フローを双曲空間へ成功裏に拡張することで、ユークリッド空間用フローと比較して階層的データのモデリングをより効果的に行えるか？
• RQ2 双曲多様体上に、効率的なヤコビアン計算を維持しつつ、逆写像可能で微分可能な変換をどのように構築できるか？
• RQ3 双曲正規化フローは、ユークリッド空間および既存の双曲VAE手法と比較して、階層的グラフデータにおける密度推定および再構築性能を向上させられるか？
• RQ4 双曲正規化フローにローレンツモデルを用いる際の計算的・数値的トレードオフは何か？

主な発見

• 提案手法の双曲正規化フローは、ユークリッド正規化フローおよび双曲VAEと比較して、階層的データにおける構造的密度推定タスクで優れた性能を発揮する。
• 再パrametrization可能なベース分布と逆写像可能なフローのおかげで、正確な尤度推定と低分散勾配推定が可能になる。
• 実世界の階層的ネットワークにおけるグラフ再構築では、双曲正規化フローを用いたVAEが、定量的・定性的に顕著な改善を示す。
• TCおよびWHCの体積変化計算は効率的で、各変換あたりO(n)の演算で済み、スケーラブルな学習が可能になる。
• 双曲潜在変数モデルに柔軟な事後分布を組み込むことで、特に木構造データにおいて、ユークリッドベースラインと比較して高品質なサンプル生成が可能であることが示された。
• ローレンツモデルにおけるクランピングによる数値的制限が、フローアーキテクチャの深さを制限しており、今後の研究では代替の双曲モデルの開発が求められる。