[論文レビュー] A Differentiable Gaussian-like Distribution on Hyperbolic Space for Gradient-Based Learning.

Yoshihiro Nagano, Shoichiro Yamaguchi+2 more|arXiv (Cornell University)|Feb 8, 2019

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 9

ひとこと要約

本稿では、階層的データの勾配ベース学習を可能にする、微分可能で解析的に取り扱える双曲空間上の確率分布として、擬似双曲ガウス分布を導入する。この分布は正確な密度評価、効率的なサンプリングを可能とし、ハイパーボリック変分オートエンコーダーや確率的単語埋め込みといった新たなモデルを可能にする。MNIST、Atari Breakout、WordNetの各ベンチマークで最先端の性能を示した。

ABSTRACT

Hyperbolic space is a geometry that is known to be well-suited for representation learning of data with an underlying hierarchical structure. In this paper, we present a novel hyperbolic distribution called extit{pseudo-hyperbolic Gaussian}, a Gaussian-like distribution on hyperbolic space whose density can be evaluated analytically and differentiated with respect to the parameters. Our distribution enables the gradient-based learning of the probabilistic models on hyperbolic space that could never have been considered before. Also, we can sample from this hyperbolic probability distribution without resorting to auxiliary means like rejection sampling. As applications of our distribution, we develop a hyperbolic-analog of variational autoencoder and a method of probabilistic word embedding on hyperbolic space. We demonstrate the efficacy of our distribution on various datasets including MNIST, Atari 2600 Breakout, and WordNet.

研究の動機と目的

• 勾配ベース学習を支援できる、双曲空間上での微分可能で解析的に計算可能な確率分布の開発を目的とする。
• 拒否サンプリングを用いずに正確な密度評価と効率的なサンプリングを可能とすることを目的とする。
• 確率的ディープラーニングを階層的データ構造のための双曲幾何に拡張することを目的とする。
• 変分オートエンコーダーのような深層生成モデルのハイパーボリック版を構築することを目的とする。
• より優れた意味的モデリングを実現するため、双曲空間における確率的単語埋め込みを可能とすることを目的とする。

提案手法

• 双曲空間の放物面モデルを用いて、ガウス分布のハイパーボリック版として擬似双曲ガウス分布を提案する。
• 位置およびスケールパラメータに関して微分可能な確率密度関数の解析的表現を導出する。
• 双曲幾何における適切な正規化を保証するために、分布の対数正規化子を用いる。
• 拒否サンプリングを用いずにサンプリングが可能な再パラメータ化トリックを設計する。
• アモアタイズド推論を用いて、擬似双曲ガウス分布に基づくハイパーボリック変分オートエンコーダーを構築する。
• 確率的単語埋め込みのための手法を開発し、擬似双曲ガウス分布を事前分布として用いる。

実験結果

リサーチクエスチョン

• RQ1 双曲空間上に微分可能で解析的に取り扱える確率分布を定義し、勾配ベース学習を可能にすることができるか？
• RQ2 このような分布が、拒否サンプリングを用いずに正確な密度評価と効率的なサンプリングを可能にすることができるか？
• RQ3 擬似双曲ガウス分布を用いて、階層的データのための効果的なハイパーボリック生成モデルを構築できるか？
• RQ4 提案された分布が、階層的データセットにおける確率的単語埋め込みおよび表現学習の性能を向上させるか？
• RQ5 この分布を、双曲空間上での変分オートエンコーダーのような深層生成モデルに統合できるか？

主な発見

• 擬似双曲ガウス分布は、双曲空間上で正確な密度評価と微分可能なパrameterizationを可能とし、従来の勾配ベース学習における制限を克服した。
• この分布は、拒否サンプリングを用いずに効率的なサンプリングを可能とし、双曲生成モデルにおける確率的最適化に適している。
• 擬似双曲ガウス分布に基づくハイパーボリック変分オートエンコーダーは、MNISTおよびAtari 2600 Breakoutにおいて、ユークリッドベースラインと比較して同等または優れた性能を達成した。
• この分布を事前分布として用いた確率的単語埋め込み手法は、WordNetにおいて性能を向上させ、階層的意味的関係をより効果的に捉えた。
• 提案された分布により、双曲空間上でのエンドツーエンド微分可能な確率的モデリングフレームワークが初めて実現され、表現学習分野における新たな応用が可能になった。