[論文レビュー] Self-Supervised Graph Representation Learning via Global Context Prediction

Zhen Peng, Yixiang Dong+3 more|arXiv (Cornell University)|Mar 3, 2020

Advanced Graph Neural Networks参考文献 33被引用数 39

ひとこと要約

本論文は S2GRL を提案する。自己教師付きフレームワークで、ノードペア間のホップベースの文脈位置を予測することにより、グローバルコンテキストを考慮したノード埋め込みを学習し、多くの教師なし手法を上回り、いくつかの教師ありモデルにも匹敵する。

ABSTRACT

To take full advantage of fast-growing unlabeled networked data, this paper introduces a novel self-supervised strategy for graph representation learning by exploiting natural supervision provided by the data itself. Inspired by human social behavior, we assume that the global context of each node is composed of all nodes in the graph since two arbitrary entities in a connected network could interact with each other via paths of varying length. Based on this, we investigate whether the global context can be a source of free and effective supervisory signals for learning useful node representations. Specifically, we randomly select pairs of nodes in a graph and train a well-designed neural net to predict the contextual position of one node relative to the other. Our underlying hypothesis is that the representations learned from such within-graph context would capture the global topology of the graph and finely characterize the similarity and differentiation between nodes, which is conducive to various downstream learning tasks. Extensive benchmark experiments including node classification, clustering, and link prediction demonstrate that our approach outperforms many state-of-the-art unsupervised methods and sometimes even exceeds the performance of supervised counterparts.

研究の動機と目的

• グラフ構造に内在する自然な監視信号を利用して、ラベルなしグラフデータからノード表現を学習する動機づけ。
• ノードペア間の相対的文脈位置（ホップ数）を予測してグローバルトポロジーを符号化する自己監視フレームワークを提案する。
• ホップベースの監視が、最新の教師なし手法と一部の教師ありベースラインに匹敵する表現をもたらすことを示す。

提案手法

• 各ノードに対して、kホップ以内に到達可能なノードをグローバルコンテキストとして定義し、主要カテゴリ（例：1ホップ、2ホップなど）に分割する。
• エンコーダ f_ω を訓練してノード埋め込みを生成し、分類器 h_θ が埋め込みからノードペア間のホップベースの文脈を予測する。
• 対称的相互作用プロキシ（絶対差） ⟨z_i, z_j⟩ = |z_i − z_j| を用いて、文脈予測の置換対称性を保証する。
• 主要コンテキストカテゴリに渡るクロスクラス目的関数を最適化して、グローバルコンテキストを考慮した表現を学習する。
• 大規模グラフにおける計算コストとクラス不均衡の課題に対処するため、バッチサンプリングを用いる。
• 識別性と汎化のバランスをとるため、主要カテゴリ構成のハイパーパラメータを探索する。

実験結果

リサーチクエスチョン

• RQ1 グローバルなグラフトポロジが、自己監視型グラフ表現学習における自由な監督信号を提供できるか？
• RQ2 ノードペア間のホップベースの文脈位置を予測することで、グローバル構造を捉え、下流タスクの性能を向上させる埋め込みが得られるか？
• RQ3 主要コンテキストカテゴリの構成は埋め込みの品質にどのように影響するか？
• RQ4 標準ベンチマークにおいて、S2GRL は既存の教師なし・教師ありのグラフ表現法とどう比較されるか？

主な発見

• S2GRL は伝導的ノード分類で Cora 83.7%、Citeseer 72.1%、Pubmed 82.4% を達成し、多くの教師なしのベースラインを上回る。
• 誘導的分類では、S2GRL は PPI 66.0%、Reddit 95.0% に達し、いくつかのベースラインを上回る。
• クラスタリング（NMI）では、S2GRL は Cora 0.540、Citeseer 0.432、Pubmed 0.332 を達成し、既存手法と競争力がある。
• リンク予測では、BlogCatalog で AUC 80.4–78.2%、Flickr で AUC 91.4–89.8% を、異なるエッジ除去率で達成し、いくつかのベースラインを上回る。
• 視覚分析（t-SNE）により、学習済み埋め込みがトポロジカル距離を反映し、グローバルコンテキスト仮説を支持する。
• 1ホップ、2ホップ、3ホップを別個の主要カテゴリとして用いると、過度に細分化した分割よりも良い表現が得られる。