[論文レビュー] Provable Training for Graph Contrastive Learning

Yue Yu, Xiao Wang+3 more|arXiv (Cornell University)|Sep 25, 2023

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本稿では、グラフ対照学習（GCL）のためのプラグイン型正則化手法であるPrOvable Training（POT）を提案する。POTは、『ノードの凝集性』と呼ばれる理論的に導出された指標を導入することで、異なる増幅処理においてノードがGCLの原則にどの程度一貫して従っているかを測定し、訓練を改善する。POTは、訓練が不十分なノードに優先的に注目することで、アーキテクチャの変更なしに、既存のGCL手法を上回る一貫した性能向上を複数のベンチマークで達成する。

ABSTRACT

Graph Contrastive Learning (GCL) has emerged as a popular training approach for learning node embeddings from augmented graphs without labels. Despite the key principle that maximizing the similarity between positive node pairs while minimizing it between negative node pairs is well established, some fundamental problems are still unclear. Considering the complex graph structure, are some nodes consistently well-trained and following this principle even with different graph augmentations? Or are there some nodes more likely to be untrained across graph augmentations and violate the principle? How to distinguish these nodes and further guide the training of GCL? To answer these questions, we first present experimental evidence showing that the training of GCL is indeed imbalanced across all nodes. To address this problem, we propose the metric "node compactness", which is the lower bound of how a node follows the GCL principle related to the range of augmentations. We further derive the form of node compactness theoretically through bound propagation, which can be integrated into binary cross-entropy as a regularization. To this end, we propose the PrOvable Training (POT) for GCL, which regularizes the training of GCL to encode node embeddings that follows the GCL principle better. Through extensive experiments on various benchmarks, POT consistently improves the existing GCL approaches, serving as a friendly plugin.

研究の動機と目的

• GCLにおけるすべてのノードが、異なるグラフ増幅処理において一貫してInfoNCEの原則に従っているかどうかを調査すること。
• 構造的感度により、増幅処理に対して一貫して訓練が不十分なノードを同定すること。
• 異なる増幅処理下でのノードの訓練の一貫性を定量化する理論的根拠を持つ指標を定義すること。
• 凝集性が低いノードに注目することでGCLの訓練を改善する正則化手法を設計すること。
• 既存のGCLフレームワークと互換性があり、アーキテクチャの変更なしに利用可能な汎用的プラグインソリューションを構築すること。

提案手法

• すべての可能な増幅処理において、ノードがGCLの原則にどの程度一貫して従っているかを測る指標として『ノードの凝集性』を提案する。
• 境界伝播を用いてノードの凝集性の解析的表現を導出し、訓練への微分可能統合を可能にする。
• ノードの凝集性をバイナリクロスエントロピー損失に正則化項として統合し、ハイパーパrameter κ を用いて標準のInfoNCE目的関数とバランスさせる。
• 導出された凝集性を用いて、増幅処理間で一貫性が低いノードに動的に訓練の焦点を向ける。
• バックボーンアーキテクチャの変更なしに、任意のGCLフレームワークにシームレスに統合可能なプラグインモジュールとしてPOTを設計する。
• 境界伝播を活用して凝集性指標の理論的妥当性を保証し、訓練の一貫性向上を理論的に保証する。

実験結果

リサーチクエスチョン

• RQ1 GCLにおいて、すべてのノードが異なるグラフ増幅処理において均等に訓練されているのか、それとも訓練が不均衡であるのか？
• RQ2 構造的感度により、増幅処理に対して一貫して訓練が不十分なノードはどれか？
• RQ3 ノードが増幅処理の変化に応じてGCLの原則にどの程度一貫して従っているかを定量化する理論的根拠を持つ指標を定義できるか？
• RQ4 このような指標を用いて、証明可能かつ一般化可能な方法でGCLの訓練を改善できるか？
• RQ5 提案手法は、アーキテクチャの変更なしに、既存のGCLフレームワークにプラグインとして統合可能か？

主な発見

• GCLの訓練は著しく不均衡であり、ノードレベルのInfoNCE損失に顕著なばらつきが認められ、すべてのノードがGCLの原則に均等に従っているわけではないことが示された。
• ノードの凝集性は、ノードの次数や増幅戦略との強い相関を示し、ノードがグラフ増幅処理に対してどれほど感度が高いかを効果的に捉えている。
• POTは、ノード分類ベンチマーク（BlogCatalog、Coraなど）において、GRACE、GCA、ProGCL、COSTAといった複数のGCLベースラインで一貫した性能向上を達成した。
• ハイパーパrameterの分析から、POTはκの広い範囲でベースモデルを上回る性能を示し、特にBlogCatalogにおいてはハイパーパrameter選択へのロバストネスが確認された。
• アーキテクチャの変更なしに一貫した向上を達成したため、POTがGCL用の汎用的プラグインとしての有効性が裏付けられた。
• 可視化結果から、凝集性が低いノードが実際に増幅処理の変化に最も影響を受けることが確認され、指標の解釈可能性が裏付けられた。