[論文レビュー] Sub-graph Contrast for Scalable Self-Supervised Graph Representation Learning

Yizhu Jiao, Yun Xiong+4 more|arXiv (Cornell University)|Sep 22, 2020

Advanced Graph Neural Networks参考文献 37被引用数 24

ひとこと要約

本稿では、各ノードを中心とするサブグラフ上で対照学習を適用することで、局所的構造的情報を捉えるスケーラブルな自己教師ありグラフ表現学習手法Subg-Conを提案する。全グラフではなく、小さな多様なサブグラフ上で学習することで、特にRedditのような大規模グラフにおいて、記憶容量と学習時間を著しく削減しながら、最先端の性能を達成し、下流タスクにおいても優れた一般化性能を維持する。

ABSTRACT

Graph representation learning has attracted lots of attention recently. Existing graph neural networks fed with the complete graph data are not scalable due to limited computation and memory costs. Thus, it remains a great challenge to capture rich information in large-scale graph data. Besides, these methods mainly focus on supervised learning and highly depend on node label information, which is expensive to obtain in the real world. As to unsupervised network embedding approaches, they overemphasize node proximity instead, whose learned representations can hardly be used in downstream application tasks directly. In recent years, emerging self-supervised learning provides a potential solution to address the aforementioned problems. However, existing self-supervised works also operate on the complete graph data and are biased to fit either global or very local (1-hop neighborhood) graph structures in defining the mutual information based loss terms. In this paper, a novel self-supervised representation learning method via Subgraph Contrast, namely extsc{Subg-Con}, is proposed by utilizing the strong correlation between central nodes and their sampled subgraphs to capture regional structure information. Instead of learning on the complete input graph data, with a novel data augmentation strategy, extsc{Subg-Con} learns node representations through a contrastive loss defined based on subgraphs sampled from the original graph instead. Compared with existing graph representation learning approaches, extsc{Subg-Con} has prominent performance advantages in weaker supervision requirements, model learning scalability, and parallelization. Extensive experiments verify both the effectiveness and the efficiency of our work compared with both classic and state-of-the-art graph representation learning approaches on multiple real-world large-scale benchmark datasets from different domains.

研究の動機と目的

• 全グラフの計算を必要とする従来のグラフニューラルネットワークのスケーラビリティの制限を解消し、高コストな記憶容量と学習時間の問題を軽減すること。
• 高価なノードラベルに依存しないようにし、弱い監督信号を用いた自己教師あり表現学習を可能にすること。
• 従来の自己教師あり手法がグローバル構造や1ホップの局所構造に偏っているのを是正し、より豊かな領域的構造的情報を捉えること。
• 全グラフ処理ではなくサブグラフベースの学習により、学習の効率を向上させ、並列処理を効果的に行えるようにすること。

提案手法

• 各ノードを中心とするサブグラフをサンプリングし、ノードとその近傍を指定されたサイズまで含め、対照学習のポジティブペアを形成する。
• 中心ノードの表現とその対応するサブグラフ表現との一致を最大化する対照損失を採用し、両者の強い相関を活用する。
• 多様なサブグラフを生成するデータ拡張戦略を採用し、局所的またはグローバル構造に過剰に適合することを避けて、ロバストネスと一般化性能を向上させる。
• GNNエンコーダを用いてサブグラフを埋め込み、ノードラベルや全グラフの計算を一切必要としない表現学習を実現する。
• 全グラフ手法と比較して著しく少ない数のサンプリングされたサブグラフ（例：50〜500）で学習を実行し、記憶容量と計算量を大幅に削減する。
• 複数のGPUにサブグラフ処理を分散することで、Reddit や Flickr のような大規模グラフでもスケーラブルな学習が可能になる、効率的な並列処理をサポートする。

実験結果

リサーチクエスチョン

• RQ1 全グラフに依存せずに、サブグラフベースの対照学習が、グラフの領域的構造的情報を効果的に捉えることができるか？
• RQ2 大規模グラフにおいて、Subg-Conは従来の自己教師ありおよび教師ありGNN手法と比較して、性能と効率の両面で優れているか？
• RQ3 サブグラフのサイズとサンプリング戦略が、学習された表現の質にどの程度影響を与えるか？
• RQ4 Subg-Conは性能を維持したまま、効率的な並列処理が可能か？ これにより、実世界の大規模グラフに適した仕組みとなるか？

主な発見

• Subg-Conは、Reddit、Flickr、PPIを含む複数のベンチマークデータセットで最先端の性能を達成し、ノード分類タスクにおいて、教師ありおよび自己教師ありベースラインを上回る。
• Redditデータセットでは、全グラフ手法と比較して、学習時間と記憶容量の両方を著しく削減するが、2ノードのサブグラフのみを用いる場合、F1スコアで最大20ポイントの性能低下が生じる。
• Citeseerではサブグラフサイズ10、他のデータセットではサイズ20で最適な性能を達成しており、より大きなサブグラフがより情報豊かな領域的構造を捉えられることを示しているが、スパースなグラフでは過剰なサイズがノイズを引き起こす可能性がある。
• 20,000個のサブグラフを複数のGPUで並列処理して学習することで、性能に損なわれることなく処理が高速化され、高いスケーラビリティと効率性が実証された。
• Redditのような大規模グラフにおいて、学習に50個のサブグラフのみを用いても、依然として高い性能を達成しており、地域的情報が高品質な表現学習に十分であることを確認した。
• ソーシャルネットワーク、引用ネットワーク、バイオメディカルグラフを含む多様な分野にわたり、強い一般化性能を示しており、広範な適用可能性を示している。