[論文レビュー] Enhancing Hyperbolic Graph Embeddings via Contrastive Learning

Jiahong Liu, Meng‐Lin Yang+3 more|arXiv (Cornell University)|Jan 21, 2022

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本稿では、双曲幾何を統合した対照学習を組み合わせることで、双曲グラフニューラルネットワークの性能を向上させる、新しいフレームワークである双曲グラフ対照学習（HGCL）を提案する。距離に依存する識別とビュー単位の整合性を用いる双曲的位置整合性（HPC）損失を活用することで、多様なデータセットにおいてノード分類タスクで最先端の性能を達成し、既存手法を顕著に上回る。

ABSTRACT

Recently, hyperbolic space has risen as a promising alternative for semi-supervised graph representation learning. Many efforts have been made to design hyperbolic versions of neural network operations. However, the inspiring geometric properties of this unique geometry have not been fully explored yet. The potency of graph models powered by the hyperbolic space is still largely underestimated. Besides, the rich information carried by abundant unlabelled samples is also not well utilized. Inspired by the recently active and emerging self-supervised learning, in this study, we attempt to enhance the representation power of hyperbolic graph models by drawing upon the advantages of contrastive learning. More specifically, we put forward a novel Hyperbolic Graph Contrastive Learning (HGCL) framework which learns node representations through multiple hyperbolic spaces to implicitly capture the hierarchical structure shared between different views. Then, we design a hyperbolic position consistency (HPC) constraint based on hyperbolic distance and the homophily assumption to make contrastive learning fit into hyperbolic space. Experimental results on multiple real-world datasets demonstrate the superiority of the proposed HGCL as it consistently outperforms competing methods by considerable margins for the node classification task.

研究の動機と目的

• グラフ表現学習における双曲幾何の指数的容量が十分に活用されていない問題に対処すること。
• ノルム正則化や構造的耐性の破壊といった、双曲空間への対照学習の適用における課題を克服すること。
• 対照学習と双曲グラフニューラルネットワークを統合し、表現品質を向上させること。
• 階層構造を保持しつつ特徴の識別性を高める、双曲空間に適合した対照損失の開発

提案手法

• 同一のグラフ入力を異なるビューとして生成する2つの双曲エンコーダーを用いる、双曲グラフ対照学習（HGCL）フレームワークを提案する。
• 双曲距離と距離に依存する識別器を用いることで、均一性と耐性のバランスを取る双曲的位置整合性（HPC）制約を導入する。
• 双曲距離を用いて埋め込み間の確率スコアを計算する距離に依存する識別器を採用し、ドット積やコサイン類似度に代わる。
• ポアンカレ球モデルにおける一貫性のある双曲空間計算を実現するため、モビウス加法およびジレーション演算子を用いる。
• 同一ノードの異なるビュー間のペair間で相互情報量を最大化するとともに、近隣領域の整合性によって耐性を強化する対照損失関数を適用する。
• 共有重みを有する2ブランチエンコーダー構造を用い、ビュー間で一貫性のある表現を生成することで、自己教師あり事前学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 対照学習は、ノード分類の性能向上を図るために、双曲グラフ表現学習に効果的に適応可能か？
• RQ2 双曲空間の固有の幾何的性質を活用して、階層構造を尊重する対照損失を設計できるか？
• RQ3 双曲空間における距離に依存する識別器は、従来のドット積またはコサイン類似度を上回る性能を示すか？
• RQ4 提案されたHPC損失は、双曲空間において構造的関係を保持しつつ、特徴の識別性を高めることができるか？

主な発見

• HGCLは5つのベンチマークデータセットすべてで最先端の性能を達成し、Diseaseデータセットでは2番目に良い手法（HGAT）に対して3.12%の絶対的精度向上を達成した。
• Coraデータセットでは82.37%の精度を達成し、HGATより4.05%の向上を示し、高双曲性を持つグラフにおいても強力な性能を発揮した。
• PubMedではF1スコアが最高、CiteseerおよびAirportでは精度が最高を記録し、HGCN、HGAT、HNNを含むすべてのベースラインを一貫して上回った。
• アブレーションスタディの結果、HPC損失および距離に依存する識別器の両方が性能向上に不可欠であることが確認され、いずれかのコンponentを除去すると顕著な精度低下が生じた。
• 相互情報量の向上およびポジティブペアの整合性の向上によって、階層構造を効果的に保持しつつ識別力が向上していることが裏付けられた。