[論文レビュー] Distance-wise Graph Contrastive Learning.

Deli Chen, Yankai Lin+5 more|arXiv (Cornell University)|Dec 14, 2020

Advanced Graph Neural Networks参考文献 20被引用数 4

ひとこと要約

本稿では、ラベル付きノードからのトポロジカル距離を考慮して、対照的学習をグラフニューラルネットワークに適応的に適用する方法であるDistance-wise Graph Contrastive Learning (DwGCL)を提案する。Group PageRankを用いて情報が乏しい遠く離れたノードを特定し、それに応じてサンプリング戦略を調整することで、さまざまなラベル設定下で5つのベンチマークデータセットおよび複数のGNNアーキテクチャにおいて性能向上を達成した。

ABSTRACT

Contrastive learning (CL) has proven highly effective in graph-based semi-supervised learning (SSL), since it can efficiently supplement the limited task information from the annotated nodes in graph. However, existing graph CL (GCL) studies ignore the uneven distribution of task information across graph caused by the graph topology and the selection of annotated nodes. They apply CL to the whole graph evenly, which results in an incongruous combination of CL and graph learning. To address this issue, we propose to apply CL in the graph learning adaptively by taking the received task information of each node into consideration. Firstly, we introduce Group PageRank to measure the node information gain from graph and find that CL mainly works for nodes that are topologically far away from the labeled nodes. We then propose our Distance-wise Graph Contrastive Learning (DwGCL) method from two views:(1) From the global view of the task information distribution across the graph, we enhance the CL effect on nodes that are topologically far away from labeled nodes; (2) From the personal view of each node's received information, we measure the relative distance between nodes and then we adapt the sampling strategy of GCL accordingly. Extensive experiments on five benchmark graph datasets show that DwGCL can bring a clear improvement over previous GCL methods. Our analysis on eight graph neural network with various types of architecture and three different annotation settings further demonstrates the generalizability of DwGCL.

研究の動機と目的

• グラフのトポロジーとラベル付きノードの選択によって生じるタスク情報の不均一な分布を解決すること。
• 従来のグラフ対照的学習（GCL）手法が全グラフに均一に対照的学習を適用するという制限を克服すること。
• ラベル付きノードからトポロジカルに離れているノードに注目することで、GCLの有効性を向上させ、情報獲得が最も必要な領域に焦点を当てる。
• 各ノードのラベル付きノードからの相対的距離を考慮した適応的サンプリング戦略を開発し、対照的学習の効率を向上させること。
• 提案手法の汎用性を、多様なGNNアーキテクチャおよびラベル設定下で実証すること。

提案手法

• ノードのグラフ構造からの情報ゲインを測定するため、Group PageRankを導入し、ラベル付きノードからトポロジカルに離れているノードを同定する。
• Group PageRankスコアを用いて、対照的学習におけるネガティブサンプルの選択をガイドし、情報ゲインが低いノードを優先する。
• ノードとラベル付きノード間の相対的距離に基づいてGCLのサンプリング戦略を適応的に変更し、遠く離れたノードを対照的増幅の対象とする。
• 距離に配慮した方法で対照的学習を適用する：ラベル付きノードから離れているノードでは、監視信号が希薄な領域に対して対照的信号を強化する。
• 下位のGNNアーキテクチャを変更せずに、標準的なGCLフレームワークに距離に配慮したサンプリングを統合する。
• タスク情報のグローバルな分布を活用し、トポロジカル距離に基づいて対照的学習目的関数を再重み付けまたは再構成する。

実験結果

リサーチクエスチョン

• RQ1 ノードとラベル付きノードとの間のトポロジカル距離が、グラフベースの半教師付き学習における情報ゲインにどのように影響するか？
• RQ2 遠く離れたノードを優先する適応的対照的学習は、均一にGCLを適用する手法と比較して性能向上を達成できるか？
• RQ3 提案された距離に配慮したサンプリング戦略は、異なるGNNアーキテクチャにおけるGNNの一般化性能にどのように影響するか？
• RQ4 DwGCLは、ラベルの希少性の異なる状況や異なるラベル配置戦略下でも、どの程度性能を向上させるか？
• RQ5 情報ゲインの代理としてGroup PageRankを用いることで、グラフにおける対照的学習がより効果的になるか？

主な発見

• DwGCLは、5つのベンチマークグラフデータセットにおいて、従来のGCL手法よりも一貫した性能向上を達成した。
• 本手法は複数のGNNアーキテクチャにわたり有効であり、強力な汎用性を示した。
• 特に、ラベル付きノードからトポロジカルに離れているノードにおいて、改善が顕著に見られ、本手法が情報が乏しい領域に焦点を当てていることを確認した。
• 3つの異なるラベル設定下での実験により、DwGCLはラベルの分布にかかわらず優れた性能を維持した。
• Group PageRankを用いることで、対照的学習の恩恵を最も受けるノードを的確に同定でき、そのサンプリング戦略の指針としての有効性が裏付けられた。
• 相対的距離に基づく適応的サンプリング戦略により、ラベル分布が不均一なグラフにおいて、対照的信号の伝搬がより効果的になった。