[論文レビュー] Neighborhood Growth Determines Geometric Priors for Relational Representation Learning

Melanie Weber|arXiv (Cornell University)|Oct 12, 2019

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、局所的近傍成長率を分析することで、関係データの最適な幾何的埋め込み空間（ユークリッド、双曲、球面）を決定する組み合わせ的手法を提案する。3-regularスコアと呼ばれるスケーラブルで次元に依存しない統計量を導入し、標準的なグラフ上で正しい幾何的事前知識を予測する能力を保証するとともに、最適化に基づく手法に比べて優れた効率性を示す。

ABSTRACT

The problem of identifying geometric structure in heterogeneous, high-dimensional data is a cornerstone of representation learning. While there exists a large body of literature on the embeddability of canonical graphs, such as lattices or trees, the heterogeneity of the relational data typically encountered in practice limits the applicability of these classical methods. In this paper, we propose a combinatorial approach to evaluating embeddability, i.e., to decide whether a data set is best represented in Euclidean, Hyperbolic or Spherical space. Our method analyzes nearest-neighbor structures and local neighborhood growth rates to identify the geometric priors of suitable embedding spaces. For canonical graphs, the algorithm's prediction provably matches classical results. As for large, heterogeneous graphs, we introduce an efficiently computable statistic that approximates the algorithm's decision rule. We validate our method over a range of benchmark data sets and compare with recently published optimization-based embeddability methods.

研究の動機と目的

• 異種で高次元の関係データに対して、最も適した幾何的埋め込み空間（ユークリッド、双曲、球面）を選択する課題に取り組む。
• 固定次元性を要する最適化に基づく手法の限界を克服し、高い計算コストに苦しむ問題を解決する。
• 大規模な最適化や次元の仮定を回避する、スケーラブルな組み合わせ的代替手法を開発する。
• 関係データの内在的幾何的構造と局所的近傍成長率の直接的な関連を確立する。
• ベンチマークデータセット上で本手法を検証し、最先端の埋め込み可能性技術と比較する。

提案手法

• 幾何的事前知識の代理として、局所的近傍成長率を分析する：指数関数的成長は双曲性を示し、線形成長はユークリッドを示し、線形未満の成長は球面幾何を示す。
• 異なるグラフ近傍間での成長率の一貫性を保つために、ノード次数を均一化する正則化ステップを導入する。
• 3-regularスコアを提案する。この統計量は、グラフ全体にわたる局所的成長情報を集約し、曲率の符号（κ = +1, 0, -1）を推定することで、球面、ユークリッド、双曲埋め込みに対応する。
• 信頼性のある成長率推定を確保するため、近傍半径 R ≥ 3 を採用し、実験ではスケーラビリティを考慮して R=3 を使用する。
• 3-regularスコアと離散リッチィ曲率の理論的関連を確立し、双曲構造の検出に適していることを示す。
• 平均近傍サイズに線形な計算量を持つ局所的かつ並列化可能な計算戦略を採用し、大規模グラフへのスケーラビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 局所的近傍成長率は、関係データの内在的幾何的構造をどのように推定できるか？
• RQ2 最適化を伴わない組み合わせ的アプローチが、グラフがユークリッド、双曲、球面空間に最も適した埋め込みであるかどうかを信頼性高く予測できるか？
• RQ3 3-regularスコアは、既存の曲率に基づくまたは最適化に基づく埋め込み可能性手法に比べ、精度と効率性の両面で優れているか？
• RQ4 本手法は、標準的グラフタイプにとどまらず、多様で現実世界のグラフに対しても一般化可能か？
• RQ5 3-regularスコアは、埋め込み可能性予測において、リッチィ曲率などの既存の離散曲率概念とどのように関連しているか？

主な発見

• 3-regularスコアは、標準的グラフにおいて幾何的事前知識を正しく予測する：格子ではユークリッド、木では双曲、サイクルでは球面。
• Facebookデータセットでは、双曲埋め込み（符号(κ) = -1）を予測し、MAPが0.782に達し、GuらおよびNickel & Kielaを上回る。
• CondMatデータセットでは、双曲埋め込みを予測し、MAPが0.799に達し、ベースライン手法を著しく上回る。
• Citiesデータセットでは、球面埋め込み（符号(κ) = +1）を予測し、MAPが0.844に達し、非階層的データに対しても優れた性能を示す。
• Citiesデータセットでは、D_avgが0.039、MAPが0.844に達し、双曲空間内での歪みが低く、検索精度が高いため、良好な性能を示す。
• 3-regularスコアは、非負の曲率を検出する点で、離散リッチィ曲率よりも効果的であるため、モデルの埋め込み空間選択に適していると考えられる。