[論文レビュー] Representation Tradeoffs for Hyperbolic Embeddings

Christopher De, Albert Gu+2 more|arXiv (Cornell University)|Apr 10, 2018

Guidance and Control Systems被引用数 188

ひとこと要約

この論文は、ほぼ完璧な歪みで木構造を表現する組合せ的な双曲埋め込みを提案し、それをハイパーボリックMDS（h-MDS）と一般データのPGAへ拡張し、低次元でのWordNet MAPが高いこととPyTorch実装を示す。

ABSTRACT

Hyperbolic embeddings offer excellent quality with few dimensions when embedding hierarchical data structures like synonym or type hierarchies. Given a tree, we give a combinatorial construction that embeds the tree in hyperbolic space with arbitrarily low distortion without using optimization. On WordNet, our combinatorial embedding obtains a mean-average-precision of 0.989 with only two dimensions, while Nickel et al.'s recent construction obtains 0.87 using 200 dimensions. We provide upper and lower bounds that allow us to characterize the precision-dimensionality tradeoff inherent in any hyperbolic embedding. To embed general metric spaces, we propose a hyperbolic generalization of multidimensional scaling (h-MDS). We show how to perform exact recovery of hyperbolic points from distances, provide a perturbation analysis, and give a recovery result that allows us to reduce dimensionality. The h-MDS approach offers consistently low distortion even with few dimensions across several datasets. Finally, we extract lessons from the algorithms and theory above to design a PyTorch-based implementation that can handle incomplete information and is scalable.

研究の動機と目的

• 双曲空間が階層的データをなぜ efficiently 表現できるのか、次元数・精度・グラフ構造間のトレードオフを理解する。
• 厳密な歪み保証を伴う組合せ的な二段階埋め込み（木構造→次に双曲空間）を開発する。
• 任意の距離行列に対するハイパーボリックMDSへの一般化と中心化および回復の解析。
• 双曲空間でのPGAベースの次元削減を導入し、最適化保証を提供する。
• 不完全な情報を扱えるスケーラブルなPyTorchベースの実装を提供する。

提案手法

• 二段階の組合せ構築: (i) グラフを重み付き木に埋め込む; (ii) 木を Sarkar の手法を用いて双曲円盤に埋め込み、歪みを制御するスケーリング因子を用いる。
• サルカルのアルゴリズムを高次元へ拡張し、H_r を用いて子を hypersphere または hypercube の頂点上に配置し、分離を最大化するよう球面符号化に導く。
• 精度要件を分析: 桁数は最長パス長と次数に比例してスケーリングし、所定の歪みに対するビット下限を示す。
• Hyperbolic MDS (h-MDS): pseudo-Euclidean mean による中心化のハイパーボリック埋め込みを行い、hyperboloid model における PCA のような因子分解へ還元する。
• Algorithm 2 は distance matrices から cosh(d) に変換して -Y に対して PCA を実行し X を回復することによって座標を回復する, optional centering。
• Principal Geodesic Analysis (PGA): mean を通る測地線上で最小化するよう最適化し、局所的な凸性条件と収束保証の条件を満たす。
• Provide an SGD-based PGA algorithm in PyTorch for noisy or incomplete data.

実験結果

リサーチクエスチョン

• RQ1 木や木構造的なグラフに対するハイパーボリック埋め込みの精度と次元のトレードオフとは何か？
• RQ2 組合せ的で最適化を伴わない埋め込みがハイパーボリック空間で低歪みを達成できるか、グラフの特性とどうスケールするか？
• RQ3 一般的な距離空間へ埋め込み技術をハイパーボリックMDSで一般化するにはどうすればよく、回復保証は何か？
• RQ4 ノイズ下での収束保証を持つハイパーボリック空間での次元削減（PGA）をどのように行うか？
• RQ5 Incomplete または noisy なハイパーボリック埋め込みの実用的でスケーラブルな実装は何か？

主な発見

Dataset	C-H2	FB-H5	FB-H200
WordNet	0.989	0.823*	0.87*

• 組合せ的埋め込みは、最適化なしで木に対して任意に低歪みを達成できる; WordNet MAP は 2 次元で 0.989 に達する。
• 必要な精度（ビット）は最長パス長と最大次数に比例してスケールし、長い連鎖に対する超低次元埋め込みの限界を示す。
• Hyperbolic MDS (h-MDS) は距離から中心化を行う擬似-Euclidean mean を用いてハイパーボリック座標を回復でき、PCA のような問題へ還元する。
• Hyperbolic 空間での PGA は、局所的な凸性条件の下で収束保証と共に低次元埋め込みへの道を提供する。
• SGD ベースの PyTorch 実装で学習可能なスケール因子が埋め込み品質を改善し、ハイパーボリック空間はスケール不変ではないため設計上の選択に影響を与える。
• WordNet では、本論文が先行研究より MAP を改善し、より低い次元（2D 対 200D）で達成している。