[論文レビュー] Hyperbolic Entailment Cones for Learning Hierarchical Embeddings

Octavian-Eugen Ganea, Gary Bécigneul+1 more|arXiv (Cornell University)|Apr 3, 2018

Advanced Graph Neural Networks参考文献 31被引用数 45

ひとこと要約

本論文は超曲率含意コーンを導入し、DAGの階層埋め込みを学習する。従来のユークリッド法および超曲率法より優れた性能を示し、特に訓練時に部分的な推移閉包が利用可能な場合に顕著である。

ABSTRACT

Learning graph representations via low-dimensional embeddings that preserve relevant network properties is an important class of problems in machine learning. We here present a novel method to embed directed acyclic graphs. Following prior work, we first advocate for using hyperbolic spaces which provably model tree-like structures better than Euclidean geometry. Second, we view hierarchical relations as partial orders defined using a family of nested geodesically convex cones. We prove that these entailment cones admit an optimal shape with a closed form expression both in the Euclidean and hyperbolic spaces, and they canonically define the embedding learning process. Experiments show significant improvements of our method over strong recent baselines both in terms of representational capacity and generalization.

研究の動機と目的

• 動機づけと、DAGにおける階層/含意関係をエンコードするためのEuclideanおよび既存の超幾何法の限界に対処する。
• リーマン幾何空間上の一般的な円錐ベースの幾何フレームワーク（含意コーン）を提案し、部分順序をモデル化する。
• ユークリッド空間と双曲空間で閉形式の最適コーン形状を導出し、効率的な学習アルゴリズムを定式化。
• ベースラインと比較して、語の上位性予測ベンチマーク（WordNet）で表現力と一般化性能の向上を示す。

提案手法

• リーマン多様体上の指数写像を用いて接空間のコーンを多様体へ写像する含意コーンを定義する。
• ユークリッドモデルとポアンカレ球モデルの双方で閉形式の最適コーン開口関数 psi を導出。
• 角度の最大マージン損失を用いて正例ペアを含意コーン内、負例を外側に配置するよう学習する。
• 明示的指数写像を用いてポアンカレ球内で完全または実用的なリーマン最適化を実施。
• WordNetの transitive closure データを用いてベースライン（Order Embeddings、Poincaré Embeddings、Simple Euclidean）と評価。

実験結果

リサーチクエスチョン

• RQ1 含意関係を非ユークリッド多様体上の円錐領域として効果的にモデル化し、階層性と方向性を捉えることができるか。
• RQ2 自然な対称性と推移性の制約の下で、これらの含意コーンの最適な幾何学的形状は何か。
• RQ3 低次元の埋め込みにおいて、超曲率含意コーンはユークリッド/他の超曲線ベースラインを上回るか。
• RQ4 訓練時の推移閉包データの量が異なる場合、学習された円錐ベースモデルの性能はどう変わるか。

主な発見

• 超曲率含意コーンは、訓練データに非基本的な推移閉包エッジが含まれる場合、ほとんどの低次元設定（次元数5および10）で全ベースラインを上回る。
• 次元5で訓練非基本エッジ0%のときの結果: Simple Euclidean 26.8, Poincaré 29.4, Order 34.4, Our Euclidean Cones 28.5, Our Hyperbolic Cones 29.2。
• 次元5で非基本エッジ訓練50%のとき: Simple Euclidean 72.8, Poincaré 83.6, Order 81.7, Our Euclidean Cones 77.4, Our Hyperbolic Cones 92.8。
• 次元10で非基本エッジ訓練50%のとき: Simple Euclidean 78.1, Poincaré 85.3, Order 84.1, Our Euclidean Cones 81.6, Our Hyperbolic Cones 94.4。
• 5次元と10次元を横断して、訓練時に推移閉包をより多く取り込むほど超曲率コーンの利得が強く現れ、ベースラインと比較してF1を8ポイント超改善することもある。
• 著者はポアンカレ球内の閉形式の指数写像を提供し、近似法ではなく完全なリーマン最適化を可能にしている。