[論文レビュー] Symmetric Spaces for Graph Embeddings: A Finsler-Riemannian Approach

Federico López, Beatrice Pozzetti+3 more|arXiv (Cornell University)|Jun 9, 2021

Epigenetics and DNA Methylation被引用数 2

ひとこと要約

本稿では、対称空間（特にシーゲル空間）を用いた新しいグラフ埋め込みフレームワークを提案する。Finsler計量を組み合わせたリーマン最適化スキームを採用することで、木構造やグリッド構造を含む多様なグラフ特徴をよりよく捉える。合成および実世界のデータセットにおいて、グラフ再構築、ノード分類、レコメンデーションシステムの各タスクで、ユークリッド空間、双曲空間、積空間、SPDベースラインを上回る性能を示した。

ABSTRACT

Learning faithful graph representations as sets of vertex embeddings has become a fundamental intermediary step in a wide range of machine learning applications. We propose the systematic use of symmetric spaces in representation learning, a class encompassing many of the previously used embedding targets. This enables us to introduce a new method, the use of Finsler metrics integrated in a Riemannian optimization scheme, that better adapts to dissimilar structures in the graph. We develop a tool to analyze the embeddings and infer structural properties of the data sets. For implementation, we choose Siegel spaces, a versatile family of symmetric spaces. Our approach outperforms competitive baselines for graph reconstruction tasks on various synthetic and real-world datasets. We further demonstrate its applicability on two downstream tasks, recommender systems and node classification.

研究の動機と目的

• 既存のグラフ埋め込み手法が一様な幾何構造（例えばユークリッド空間や一定曲率空間）を仮定しているという限界を解決する。これは、木構造やグリッド構造を含む混合構造的特徴を有するグラフを適切に捉えることができない。
• 対称空間（リーマン多様体の一種で、豊富な対称性と複合幾何を有する）を用いた統一的なフレームワークを構築し、多様な部分構造を自然に扱えるグラフ表現学習を実現する。
• シーゲル空間上にFinsler計量を導入し、ユークリッド部分空間上でℓ1およびℓ∞ノルムを誘導することで、異なるグラフ部品への柔軟な適合性を実現する。
• タカギ分解とカーライ変換を用いた自動微分可能な距離計算により、シーゲル空間上でのリーマン最適化を可能にする。
• 各ノードペairに対してベクトル値距離関数 (v1, v2) を導入し、埋め込みグラフの構造的分析を可能にする。これにより、幾何的対称性や部分グラフの特徴が明らかになる。

提案手法

• 非正曲率の行列値対称空間（シーゲル空間）を埋め込み多様体として用い、双曲平面を一般化し、SPD行列や双曲平面の積と同型な部分多様体を含む。
• 平坦な部分空間上でℓ1およびℓ∞ノルムを誘導するFinsler計量を用い、変化するグラフ幾何に柔軟に対応可能にする。
• タカギ分解とカーライ変換を用いた自動微分可能な距離計算を導出し、大規模グラフにおける効率的なリーマン最適化を可能にする。
• 測地線距離に基づく再構築損失を最小化するため、リーマン最適化（例：リーマン最適化確率的勾配降下法）を用いて頂点埋め込みを学習する。
• 各ノードペアに対して、Finsler計量の成分を表すベクトル値距離関数 (v1, v2) を導入し、グラフの構造的性質の可視化・分析に用いる。
• ルートノードからのベクトル値距離の比 v2/v1 を用いたノードカラー化により、累積的角偏差を推定し、グラフ内の対称性や階層構造を明らかにする。

実験結果

リサーチクエスチョン

• RQ1 対称空間は、木構造や平坦なグリッド構造を併せ持つ混合幾何的グラフを、既存の一定曲率空間や積空間手法よりも効果的に扱える統一的幾何的フレームワークとして機能するか？
• RQ2 シーゲル空間上に導入されたFinsler計量は、標準的なリーマン計量やユークリッド空間上のℓpノルムと比較して、グラフ埋め込みの忠実性をどのように向上させるか？
• RQ3 対称空間上でのベクトル値距離関数は、埋め込みグラフにおいて対称性、階層構造、部分グラフ幾何をどの程度明らかにできるか？
• RQ4 Finsler計量とリーマン最適化の統合は、グラフ再構築、ノード分類、レコメンデーションシステムといった下流タスクで優れた性能を達成するか？
• RQ5 Finsler計量を備えたシーゲル空間は、既存のベースライン（例：双曲空間、ユークリッド空間、SPD空間、カルテシアン積）を上回り、再構築精度と構造的保存性において優位性を示すか？

主な発見

• Finsler計量を備えたシーゲル空間は、テストされたすべての合成および実世界データセットにおいて、ユークリッド空間、双曲空間、カルテシアン積、SPD空間のすべてのベースラインを上回る性能を示した。
• 5×5グリッドデータセットでは、Finsler計量（SF∞₂およびSF₁₂）が一様にエッジの角度を保存しており、測地線構造と対称性が良好に保たれている。一方、リーマン計量（SR₂）は歪みと一貫性のない角度を示した。
• TREE × GRIDデータセットでは、SF₁₃が平均平均精度（mAP）100.00、Davg 2.02±0.02を達成し、SR₃（mAP 99.54、Davg 13.26±0.01）およびBF₁₃（mAP 79.21、Davg 1.13±0.03）を顕著に上回った。
• TREE × TREEデータセットでは、SF₁₃が100.00 mAP、Davg 1.84±0.02を達成し、ほぼ完全な再構築を実現した。一方、BF∞₃は96.66 mAP、Davg 4.74±0.00を達成した。
• ノード分類およびレコメンデーションシステムにおいて、提案手法は実世界データセットで競合ベースラインを上回り、優れた一般化性能と下流タスク性能を示した。
• ベクトル値距離のカラー化による可視化分析により、Finsler計量がリーマン計量よりもグラフの対称性をよりよく保存し、平坦な部分と階層的構造を明確に区別できることを確認した。