[論文レビュー] Graph Self-supervised Learning with Accurate Discrepancy Learning

Dongki Kim, Jinheon Baek+1 more|arXiv (Cornell University)|Feb 7, 2022

Advanced Graph Neural Networks被引用数 11

ひとこと要約

本論文は、グラフ編集距離を用いて元のグラフと摂動を加えたグラフの正確な乖離を明示的にモデル化することにより、表現学習を向上させる、新しいグラフ自己教師付き学習フレームワークである不一致ベース自己教師付き学習（D-SLA）を提案する。対照的学習とは異なり、意味的に異なるが構造的変更が小さいグラフが摂動によって類似した表現に収束してしまうのを防ぐ。D-SLAは、元のグラフと摂動を加えたグラフを区別するディスクライマーを学習させつつ、構造的差の真の大きさを保持するように訓練される。これにより、分子性質予測、タンパク質機能予測、リンク予測のタスクで最先端の性能を達成する。

ABSTRACT

Self-supervised learning of graph neural networks (GNNs) aims to learn an accurate representation of the graphs in an unsupervised manner, to obtain transferable representations of them for diverse downstream tasks. Predictive learning and contrastive learning are the two most prevalent approaches for graph self-supervised learning. However, they have their own drawbacks. While the predictive learning methods can learn the contextual relationships between neighboring nodes and edges, they cannot learn global graph-level similarities. Contrastive learning, while it can learn global graph-level similarities, its objective to maximize the similarity between two differently perturbed graphs may result in representations that cannot discriminate two similar graphs with different properties. To tackle such limitations, we propose a framework that aims to learn the exact discrepancy between the original and the perturbed graphs, coined as Discrepancy-based Self-supervised LeArning (D-SLA). Specifically, we create multiple perturbations of the given graph with varying degrees of similarity, and train the model to predict whether each graph is the original graph or the perturbed one. Moreover, we further aim to accurately capture the amount of discrepancy for each perturbed graph using the graph edit distance. We validate our D-SLA on various graph-related downstream tasks, including molecular property prediction, protein function prediction, and link prediction tasks, on which ours largely outperforms relevant baselines.

研究の動機と目的

• 摂動によって生じる類似性のため、構造的変更が小さいが意味的に異なるグラフが対照的学習で類似した表現に収束してしまう、グラフ自己教師付き学習における対照的学習の限界を是正すること。
• 予測学習がグローバルなグラフレベルの類似性を捉えられないことの課題を克服するため、不一致に配慮した学習目的を導入すること。
• 局所的およびグローバルなトポロジー的差を反映する、正確で距離を保存するグラフ表現を学習すること。
• 元のグラフと摂動を加えたグラフを区別するだけでなく、グラフ編集距離を用いて正確な構造的不一致を定量化する自己教師付きフレームワークを開発すること。

提案手法

• エッジの摂動を用いて、類似度が異なる複数の摂動を生成することで、与えられたグラフの変種を生成する。これらの摂動は、グラフ編集距離に直接対応する。
• ディスクライマーを訓練して、グラフが元のものか摂動を加えられたものかを分類させることで、微細な構造的差を学習可能にする。
• 元のグラフと摂動を加えたグラフの埋め込み間の距離が、グラフ編集距離に比例するように制約を課し、正確な不一致表現を保証する。
• マージンベースの損失を適用し、元のグラフと完全に異なる（ネガティブな）グラフ間の距離が、元のグラフと摂動を加えたグラフ間の距離よりも大きくなるように保証する。
• 局所的区別（元のグラフ vs. 摂動を加えたグラフ）とグローバルな相対的距離学習を統合することで、意味的差を保持する。
• 二値分類と類似対照的損失の組み合わせを用いて、エンドツーエンドで学習することで、識別力と構造的忠実性の両方を維持する。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き学習手法は、単なる類似性最大化を越えて、グラフとその摂動の間の正確な構造的不一致を効果的に学習できるか？
• RQ2 埋め込み空間に真のグラフ編集距離をモデル化することで、下流のグラフレベル予測タスクにおける一般化性能が向上するか？
• RQ3 提案手法は、対照的学習の既知の失敗モードである意味的に異なるが類似した表現に収束する問題を回避できるか？
• RQ4 局所的区別とグローバルな相対的距離学習の統合が、学習されたグラフ表現の質にどのように影響するか？
• RQ5 正確な不一致学習が、分子および生物学的グラフベンチマークにおける性能向上にどの程度寄与するか？

主な発見

• D-SLAは12のベンチマークグラフデータセットで最先端の性能を達成し、分子性質予測、タンパク質機能予測、リンク予測のタスクで、既存の自己教師付き学習ベースラインを上回る。
• 学習された埋め込み距離と真のグラフ編集距離の整合性から、本手法が正確な構造的差の大きさを効果的に捉えていることが裏付けられた。
• 埋め込み空間の可視化から、D-SLAは対照的学習とは異なり、元のグラフ、摂動を加えたグラフ、ネガティブなグラフを明確に分離できることを示した。
• アブレーションスタディの結果、グラフ編集距離の監視と相対的距離のマージンの両方が性能に不可欠であることが確認され、設計選択の妥当性が裏付けられた。
• 本フレームワークは、分子、生物学的、社会的ネットワークを含む多様なグラフタイプに一般化でき、堅牢性と転送性を示した。