[論文レビュー] Heterogeneous manifolds for curvature-aware graph embedding

Francesco Di Giovanni, Giulia Luise+1 more|arXiv (Cornell University)|Feb 2, 2022

Advanced Graph Neural Networks被引用数 12

ひとこと要約

本稿では、一様でない多様体におけるグラフ埋め込みのための新規フレームワークを提案する。このフレームワークは、二重の距離とノード単位の曲率を同時にモデル化するために、一様多様体（例：双曲空間）と球対称ラジアル多様体の積空間を用いる。曲率に配慮した最適化を、追加の微分を1つだけ導入したリーマン確率的勾配降下法により実現することで、高次構造を保持し、スケールフリーかつコミュニティ豊富な性質を示す現実的な非一様ランダムグラフの生成を可能にする。

ABSTRACT

Graph embeddings, wherein the nodes of the graph are represented by points in a continuous space, are used in a broad range of Graph ML applications. The quality of such embeddings crucially depends on whether the geometry of the space matches that of the graph. Euclidean spaces are often a poor choice for many types of real-world graphs, where hierarchical structure and a power-law degree distribution are linked to negative curvature. In this regard, it has recently been shown that hyperbolic spaces and more general manifolds, such as products of constant-curvature spaces and matrix manifolds, are advantageous to approximately match nodes pairwise distances. However, all these classes of manifolds are homogeneous, implying that the curvature distribution is the same at each point, making them unsuited to match the local curvature (and related structural properties) of the graph. In this paper, we study graph embeddings in a broader class of heterogeneous rotationally-symmetric manifolds. By adding a single extra radial dimension to any given existing homogeneous model, we can both account for heterogeneous curvature distributions on graphs and pairwise distances. We evaluate our approach on reconstruction tasks on synthetic and real datasets and show its potential in better preservation of high-order structures and heterogeneous random graphs generation.

研究の動機と目的

• 現実のグラフに見られる非一様な曲率分布をモデル化する上で、一様多様体の限界を解消すること。
• グラフ埋め込みにおいて、ペアワイズ距離と局所的曲率情報を同時に保持すること。
• 従来の一様モデルを一般化しつつ、曲率に配慮した最適化を可能にする計算的に実行可能なフレームワークの開発。
• クラスタリングやコミュニティ構造といった高次構造的性質の保存が向上することの実証。
• スケールフリーかつ凝集的コミュニティ構造を持つ現実的な非一様ランダムグラフの生成を可能にすること。

提案手法

• 本手法は、一様空間（例：双曲空間）と球対称ラジアル多様体の積として非一様多様体を構築し、空間的に変化する曲率を可能にする。
• グラフから得られる離散的ノード単位の曲率と、多様体上の点単位のスカラー曲率を一致させる曲率に配慮した損失関数を導入する。
• 非一様曲率構造を扱うために、リーマン確率的勾配降下法を拡張し、追加の微分を1つ計算する。
• 標準的なリーマン最適化ツールを用いて、距離保持と曲率整合性の両方を同時に最適化可能にするフレームワークを提供する。
• 合成グラフおよび実世界のグラフを対象に評価を行い、曲率モデル化と埋め込み品質に関するアブレーション実験を実施する。
• 非一様多様体からサンプリングし、曲率および距離に基づく接続ルールを適用することで、ランダムグラフの生成を実行する。

実験結果

リサーチクエスチョン

• RQ1 非一様多様体フレームワークは、一様モデルと比較して、グラフ埋め込みにおけるペアワイズ距離と局所的曲率をより効果的に同時に保持できるか？
• RQ2 曲率に配慮した最適化は、クラスタリングやコミュニティ構造といった高次構造的性質の保存をどのように向上させるか？
• RQ3 提案手法は、スケールフリーかつ非一様なコミュニティ構造を持つ現実的なランダムグラフをどの程度まで生成可能か？
• RQ4 多様体にラジアル次元を組み込むことで、計算の実行可能性を維持しつつ、より優れた曲率モデル化が可能になるか？
• RQ5 平均距離歪みとクラスタリング保存の観点から、曲率に配慮した埋め込みは、標準的な距離ベース最適化と比較してどのように異なるか？

主な発見

• 合成および実世界のグラフにおいて、本手法は一様ベースラインと比較して顕著に低い平均距離歪みを達成した。
• 入力グラフの離散的曲率分布と埋め込み多様体上の点単位曲率との一致が図られ、曲率統計において強い相関が確認された。
• ランダムグラフ生成において、非一様モデルは、大きなクリークを形成しても、次数とクラスタリングの分散が低い状態を維持した。
• さまざまな距離閾値において、クラスタリング係数の分散は安定して（約0.28–0.30）推移し、非一様密度分布を示した。これに対して一様モデルでは分散が0.15未満に低下した。
• 7.0の距離閾値において、非一様モデルは最大クリークサイズ47.2を達成し、平均クラスタリング（0.47）と次数分散（19.4）を維持した。一方、一様モデルではクリークサイズ49.96を形成したが、クラスタリング分散は著しく低下し、次数分散は増加した。
• 位置依存の曲率を埋め込み空間で活用することで、凝集的コミュニティとスケールフリー性を有する現実的なグラフの生成が可能になった。