[論文レビュー] Curvature Regularization to Prevent Distortion in Graph Embedding

Hongbin Pei, Bingzhe Wei+3 more|arXiv (Cornell University)|Nov 28, 2020

Advanced Graph Neural Networks参考文献 34被引用数 5

ひとこと要約

本稿では、埋め込み多様体の平坦性を強制することで、グラフ埋め込みにおけるトポロジカル歪みを防ぐための曲率正則化を提案する。新規の角度に基づく断面曲率（ABS曲率）を用い、5つの一般的な近接性保存手法に3つの正則化形式を統合し、多数のグラフデータセットで顕著な性能向上を達成した。

ABSTRACT

Recent research on graph embedding has achieved success in various applications. Most graph embedding methods preserve the proximity in a graph into a manifold in an embedding space. We argue an important but neglected problem about this proximity-preserving strategy: Graph topology patterns, while preserved well into an embedding manifold by preserving proximity, may distort in the ambient embedding Euclidean space, and hence to detect them becomes difficult for machine learning models. To address the problem, we propose curvature regularization, to enforce flatness for embedding manifolds, thereby preventing the distortion. We present a novel angle-based sectional curvature, termed ABS curvature, and accordingly three kinds of curvature regularization to induce flat embedding manifolds during graph embedding. We integrate curvature regularization into five popular proximity-preserving embedding methods, and empirical results in two applications show significant improvements on a wide range of open graph datasets.

研究の動機と目的

• 近接性保存戦略によって引き起こされる、グラフ埋め込みにおけるトポロジカル歪みという見過ごされた問題に取り組むこと。
• 埋め込み多様体の平坦性を維持することで、グラフトポロジのパターンの検出可能性を向上させること。
• 埋め込み空間内のベクトル間の角度を用いて断面曲率を捉える、新しい曲率測定法であるABS曲率を開発すること。
• 既存の近接性保存グラフ埋め込み手法に曲率正則化を統合し、より高いロバストネスを実現すること。
• 多様なグラフデータセットおよび応用において、曲率正則化の有効性を実証的に検証すること。

提案手法

• 埋め込み空間内の接ベクトル間の角度に基づいて導出された、新しい角度に基づく断面曲率測定法であるABS曲率を提案する。
• 訓練中に多様体の非平坦性をペナルティ化するための3つの異なる曲率正則化項を設計する。
• 代表的な近接性保存グラフ埋め込み手法（例：node2vec、LINEなど）5つに曲率正則化を統合する。
• 近接性保存と曲率正則化の両方をバランスさせる組み合わせ損失関数を最適化する。
• 幾何的制約を用いて、埋め込み多様体が可能な限り平坦に保たれるようにする。これにより、グラフトポロジの歪みが最小限に抑えられる。
• ABS曲率の微分可能形式を採用し、ディープラーニングフレームワークにおけるエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 曲率正則化は、学習済みのグラフ埋め込みにおけるトポロジカル歪みをどの程度低減するか？
• RQ2 提案されたABS曲率測定法は、既存の曲率近似法と比較して、埋め込み多様体の平坦性をどの程度的確に捉えられるか？
• RQ3 曲率正則化は、多様なグラフデータセットにおける下流の機械学習タスクの性能を向上させることができるか？
• RQ4 異なる近接性保存埋め込み手法に適用した場合、曲率正則化アプローチはどの程度ロバストか？
• RQ5 埋め込み多様体の平坦性を強制することで、グラフの内在的トポロジのパターンの検出可能性は向上するか？

主な発見

• 曲率正則化により、複数のオープングラフデータセットにおける下流タスクの性能が顕著に向上した。
• ABS曲率正則化の統合により、埋め込み多様体がより平坦化され、グラフトポロジの歪みが低減した。
• 提案手法は、5つの一般的な近接性保存グラフ埋め込みモデルに適用しても一貫した改善を達成した。
• 実証的結果から、下流タスクにおける測定可能な性能向上が確認され、埋め込み空間内での構造的パターンの保存がより良好であることが示された。
• 角度に基づく断面曲率の採用により、明示的な多様体パラメータ化を必要とせず、効果的かつ微分可能な正則化が可能になった。
• 本手法は、多様なグラフ構造および応用シナリオにわたり、優れた一般化性能を示した。