[論文レビュー] A Wrapped Normal Distribution on Hyperbolic Space for Gradient-Based Learning

Yoshihiro Nagano, Shoichiro Yamaguchi+2 more|arXiv (Cornell University)|Feb 8, 2019

Generative Adversarial Networks and Image Synthesis参考文献 25被引用数 47

ひとこと要約

この論文は、双曲空間上で解析的な密度評価と勾配計算を認める擬双曲ガウス分布を導入し、Hyperbolic VAE や確率的単語埋め込みのような勾配ベースの確率モデルを可能にする。MNIST、Atari Breakout の軌跡、WordNet の単語埋め込みで性能の向上を示す。

ABSTRACT

Hyperbolic space is a geometry that is known to be well-suited for representation learning of data with an underlying hierarchical structure. In this paper, we present a novel hyperbolic distribution called extit{pseudo-hyperbolic Gaussian}, a Gaussian-like distribution on hyperbolic space whose density can be evaluated analytically and differentiated with respect to the parameters. Our distribution enables the gradient-based learning of the probabilistic models on hyperbolic space that could never have been considered before. Also, we can sample from this hyperbolic probability distribution without resorting to auxiliary means like rejection sampling. As applications of our distribution, we develop a hyperbolic-analog of variational autoencoder and a method of probabilistic word embedding on hyperbolic space. We demonstrate the efficacy of our distribution on various datasets including MNIST, Atari 2600 Breakout, and WordNet.

研究の動機と目的

• 階層データ表現と確率モデリングのために双曲幾何学の使用を動機づける。
• 解析的密度と微分可能性を持つ双曲空間上のガウス様分布を定義する。
• 双曲空間上での勾配ベースのトレーニングを確率モデルに適用可能にする（例：VAE、単語埋め込み）。
• リジェクションサンプリングなしで効率的なサンプリングを提供する。
• ベンチマークデータセット（MNIST、Atari Breakout、WordNet）でアプローチを実証する。

提案手法

• 元の点の接点空間でEuclidean Gaussian からサンプリングし、それをターゲット位置へ並行輸送し、双曲空間のローレンツモデル上の指数写像で射影することにより、擬双曲ガウスを構築する。
• 射影写像の行列式の対数を用いて対数密度を計算する。これは指数写像の行列式と並行輸送の両方の分解可能性を持ち、閉じた形で評価できる。
• ローレンツモデルにおける接空間演算（並行輸送、指数写像、およびそれらの逆演算）の解析的表現を提供し、密度評価と勾配計算を実現可能にする。
• 本分布を用いて Hyperbolic VAE を、事前分布 p(z) = G(mu0, I) と事後分布 q(z|x) = G(mu, Sigma) を持つ形で構築する。
• 確率的単語埋め込みを示すため、ユークリッドガウス埋め込みをG(mu, Sigma)を用いる双曲空間上の埋め込みに置き換える。

実験結果

リサーチクエスチョン

• RQ1 双曲空間上で解析的密度と微分可能性を持つガウス様分布を一貫して定義し、勾配ベースの学習を可能にできるか。
• RQ2 拒絶サンプリングなしで双曲空間上のサンプリングと密度評価を効率的に実行できるか。
• RQ3 階層データに対する双曲確率モデルの利点は、標準的なベンチマーク（例：MNIST、WordNet、Atari の軌跡）でどの程度測定されるか。
• RQ4 低次元潜在空間での双曲確率モデル（Hyperbolic VAE、確率的単語埋め込み）はユークリッドの対応物より優れているか。

主な発見

• 双曲空間上の擬双曲ガウス分布のクラスは、パラメータに対する解析的密度評価と微分可能性を有することが示される。
• サンプリング手順は接空間のガウス分布、並行輸送、指数写像を用い、拒絶サンプルなしで勾配ベースの学習を可能にする。
• 提案された事前分布と事後分布を持つ Hyperbolic VAE は、特に低次元の潜在表現で MNIST において Vanilla VAE よりも競争力のある、あるいはより良い対数尤度を達成できる。
• 双曲幾何を用いた確率的単語埋め込みは、WordNet 名詞階層のいくつかの潜在次元でユークリッドガウス埋め込みより再構成指標を改善する。
• Atari 2600 Breakout への応用は、Hyperbolic VAE の潜在表現が vanilla VAE より累積報酬とより強く相関することを示す。