[論文レビュー] Graph Geometry Interaction Learning

Shichao Zhu, Shirui Pan+4 more|arXiv (Cornell University)|Oct 23, 2020

Advanced Graph Neural Networks参考文献 28被引用数 21

ひとこと要約

本稿では、双対幾何相互作用メカニズムを用いて、ユークリッド空間および双曲空間の両方でグラフ構造を統合的にモデル化する、新しいグラフ表現手法である幾何相互作用学習（GIL）を提案する。GILは双曲空間における距離に敏感なアテンションと、確率アセンブリングを用いた適応的特徴統合を採用し、各ノードに対して幾何空間の重要性を動的に割り当てる。これにより、5つのベンチマークデータセットにおいてノード分類およびリンク予測の最先端性能を達成した。

ABSTRACT

While numerous approaches have been developed to embed graphs into either Euclidean or hyperbolic spaces, they do not fully utilize the information available in graphs, or lack the flexibility to model intrinsic complex graph geometry. To utilize the strength of both Euclidean and hyperbolic geometries, we develop a novel Geometry Interaction Learning (GIL) method for graphs, a well-suited and efficient alternative for learning abundant geometric properties in graph. GIL captures a more informative internal structural features with low dimensions while maintaining conformal invariance of each space. Furthermore, our method endows each node the freedom to determine the importance of each geometry space via a flexible dual feature interaction learning and probability assembling mechanism. Promising experimental results are presented for five benchmark datasets on node classification and link prediction tasks.

研究の動機と目的

• 正則性や階層性といった多様な構造的性質を捉えることが難しい単一幾何グラフ埋め込みの限界を解消すること。
• 相互作用学習メカニズムを通じて、ユークリッドと双曲表現の相互強化を可能にすること。
• 両幾何空間でコンフォーマル不変性を維持しつつ、低次元で情報豊富なノード表現を提供すること。
• 下流タスクの性能向上を図るため、ノード固有の重み付けによる幾何埋め込みの適応的統合を実現すること。
• 各ノードごとの各幾何の貢献度を可視化することで、解釈可能性を向上させること。

提案手法

• ユークリッド空間と双曲空間の間を接続するための指数写像および対数写像を用い、クロス幾何メッセージパッシングを実現する。
• 接空間上の双曲距離を用いて近隣ノードの集約をガイドする、双曲空間における距離に敏感なアテンションメカニズムを導入する。
• 二重空間アテンションとコンフォーマル構造調整を用いて、両幾何からの特徴を適応的に統合する相互作用学習モジュールを採用する。
• ハイパーマネンスベースのロジスティック回帰を実行し、その後確率アセンブリングを適用して、各幾何に対するノード固有の信頼性重みを計算する。
• ユークリッドおよび双曲空間の両方でコンフォーマル不変性を保持しつつ、エンドツーエンドの学習を可能にする。
• 予測時にノードごとにユークリッドと双曲埋め込みの相対的重要性を決定するための学習可能重み機構を用いる。

実験結果

リサーチクエスチョン

• RQ1 ユークリッドと双曲幾何の共同モデリングは、単一空間手法に比べてグラフ表現学習を改善できるか？
• RQ2 両幾何からの情報を効果的に相互作用させることで、ノード表現をどのように向上させられるか？
• RQ3 幾何埋め込みに対する適応的かつノード固有の重み付けは、異種グラフ構造においてより良い性能をもたらすか？
• RQ4 双曲空間における距離に敏感なアテンションメカニズムは、メッセージ伝達をどの程度改善するか？
• RQ5 確率アセンブリングメカニズムは、各ノードにおける各幾何の貢献度について解釈可能なインサイトを提供できるか？

主な発見

• GILは5つのベンチマークデータセットにおいて、ノード分類およびリンク予測の最先端性能を達成し、ユークリッドおよび双曲ベースラインを上回った。
• 高い双曲性を示すDiseaseデータセットでは、ノード分類で90.70%の正確度を達成し、次善の手法（88.98%）を顕著に上回った。
• 双曲性が低いCiteseerデータセットでは、72.97%の正確度を達成し、最良のベースラインを1.5ポイント以上上回った。
• アブレーションスタディの結果、二重特徴統合（GIL）が最良の性能を示し、GIL H↮E（統合なし）は最も弱い結果を示した。これにより、相互作用の重要性が裏付けられた。
• 可視化の結果、階層的グラフにおける境界ノードが、双曲埋め込みに対して高い確率的重みを割り当てていることが確認され、モデルの構造的直感との整合性が裏付けられた。
• 距離に敏感なアテンションメカニズムは、すべてのデータセットで分散を低減し、正確度を向上させた。特にAirpotデータセットでは、非アテンションバージョン比で平均2.3%の向上を示した。