[論文レビュー] Poincaré Wasserstein Autoencoder

Ivan Ovinnikov|arXiv (Cornell University)|Jan 5, 2019

Anomaly Detection Techniques and Applications参考文献 39被引用数 22

ひとこと要約

この論文は、ハイパボリック幾何学のポアンカレ球モデルを用いて潜在空間をモデル化することで、階層的データ構造を捉えることができる変分オートエンコーダ、Poincaré Wasserstein Autoencoder (PWA) を導入する。曲率の内因的性質を活用することで、PWA は階層的データにおいて優れた性能を発揮し、合成データおよび視覚的データセットにおけるリンク予測と効果的な潜在空間の整理を示している。

ABSTRACT

This work presents a reformulation of the recently proposed Wasserstein autoencoder framework on a non-Euclidean manifold, the Poincaré ball model of the hyperbolic space. By assuming the latent space to be hyperbolic, we can use its intrinsic hierarchy to impose structure on the learned latent space representations. We demonstrate the model in the visual domain to analyze some of its properties and show competitive results on a graph link prediction task.

研究の動機と目的

• 標準的なVAEがユークリッドの潜在空間を用いるため、階層的データ構造をモデル化する能力に制限があることに対処する。
• 特にポアンカレ球モデルを用いたハイパボリック幾何学の使用を検討し、潜在空間における構造的で階層的な表現を学習する。
• 一定の負の曲率を持つリーマン多様体上に、Wassersteinオートエンコーダフレームワークを構築し、階層的依存関係をより良く捉える。
• 内在的な木構造的または部分順序構造を持つタスクにおいて、ハイパボリック潜在空間がユークリッド空間を上回ることを実証する。
• 変分推論に使用するための、ハイパボリック空間におけるガウス分布とサンプリング手順の閉形式表現を導出する。

提案手法

• 非ユークリッド多様体におけるアモアタイズド変分推論を可能にするために、ハイパボリック空間のポアンカレ球モデル $\mathbb{H}^n$ 上でWassersteinオートエンコーダフレームワークを再定式化する。
• リーマン多様体上の指数写像とフィッシャー情報計量を用いて、ハイパボリック空間におけるガウス分布を定義し、適切な事前分布と事後分布のパrameter化を可能にする。
• 事前分布と事後分布の一致を図るために、最大平均差分（MMD）を用い、エンドツーエンドの学習を可能にする。
• 平行移動と指数写像を用いて、ハイパボリック空間における事前分布および事後分布からのサンプリングを実行する。
• 性能と構造的整合性の評価のため、視覚的生成（MNIST）およびグラフのリンク予測（Cora, Citeseer, Pubmed）の両方のタスクにモデルを適用する。
• 階層的合成データ上でのユークリッド空間とハイパボリック空間の潜在空間表現の質を定量的に比較するための歪み尺度を用いる。

実験結果

リサーチクエスチョン

• RQ1 ユークリッドVAEと比較して、ハイパボリック幾何学による潜在空間のモデル化が、階層的データ構造の表現を改善できるか？
• RQ2 低次元の潜在空間において、Poincaré Wasserstein Autoencoder は階層的構造をどの程度正しく捉えられるか？
• RQ3 グラフのリンク予測タスクにおいて、ハイパボリック幾何学をオートエンコーダに適用することによる定量的利点は何か？
• RQ4 再構成品質および下流タスク性能の観点から、PWAは既存のモデル（ユークリッドVAE や 超球面VAE）と比較してどのように異なるか？
• RQ5 ハイパボリック空間にMMDベースの目的関数を適用する際に生じる課題は何か、そしてそれらをどのように軽減できるか？

主な発見

• 合成階層的データセットでは、PWAは平均歪み尺度0.49を達成し、T-SNE（0.73）とユークリッドVAE（0.82）を著しく上回った。
• MNISTデータセットでは、PWAは潜在表現をポアンカレ円板の境界に押しやる傾向を示し、ハイパボリック空間の指数的体積増加に一致する。
• Coraの引用ネットワークでは、PWAはテストAUC 93.9 ± 0.2、AP 93.2 ± 0.4を達成し、ユークリッドVAE（AUC: 92.7 ± 0.2）を上回り、超球面VAEと同等の性能を示した。
• Citeseerでは、PWAはAUC 92.2 ± 0.2、AP 91.8 ± 0.2を達成し、ユークリッドVAE（AUC: 90.3 ± 0.5）を上回り、超球面VAEの性能に近づいた。
• Pubmedでは、PWAはAUC 95.9 ± 0.2、AP 96.3 ± 0.2を達成し、ユークリッドVAE（AUC: 97.1 ± 0.0）をわずかに下回ったが、依然として優れた性能を示した。
• 本モデルは、ハイパボリック潜在空間が次元が低いにもかかわらず階層的情報を効果的に符号化できることを示し、ハイパボリック単語埋め込みに関する先行研究の結果とも整合的である。