[論文レビュー] Alleviating neighbor bias: augmenting graph self-supervise learning with structural equivalent positive samples

Jiawei Zhu, Hong Mei+2 more|arXiv (Cornell University)|Dec 8, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、構造的に同等の非近接ノードをポジティブサンプルとして組み込むことで、グラフニューラルネットワークにおける近隣バイアスを軽減する、トポロジカル信号駆動型自己教師あり学習手法を提案する。持続的ホモロジーを用いてマルチスケールのトポロジカル特徴を抽出し、ノード対間の構造的同等性を計算して、高い同等性を持つ非近接ノード同士を表現空間で近づけるトポロジカル損失を適用することで、7つのベンチマークデータセットにおいてノード分類精度が顕著に向上した。

ABSTRACT

In recent years, using a self-supervised learning framework to learn the general characteristics of graphs has been considered a promising paradigm for graph representation learning. The core of self-supervised learning strategies for graph neural networks lies in constructing suitable positive sample selection strategies. However, existing GNNs typically aggregate information from neighboring nodes to update node representations, leading to an over-reliance on neighboring positive samples, i.e., homophilous samples; while ignoring long-range positive samples, i.e., positive samples that are far apart on the graph but structurally equivalent samples, a problem we call "neighbor bias." This neighbor bias can reduce the generalization performance of GNNs. In this paper, we argue that the generalization properties of GNNs should be determined by combining homogeneous samples and structurally equivalent samples, which we call the "GC combination hypothesis." Therefore, we propose a topological signal-driven self-supervised method. It uses a topological information-guided structural equivalence sampling strategy. First, we extract multiscale topological features using persistent homology. Then we compute the structural equivalence of node pairs based on their topological features. In particular, we design a topological loss function to pull in non-neighboring node pairs with high structural equivalence in the representation space to alleviate neighbor bias. Finally, we use the joint training mechanism to adjust the effect of structural equivalence on the model to fit datasets with different characteristics. We conducted experiments on the node classification task across seven graph datasets. The results show that the model performance can be effectively improved using a strategy of topological signal enhancement.

研究の動機と目的

• グラフ自己教師あり学習における近隣バイアスを解消すること。具体的には、モデルが同質的（ホモフィリック）な近隣ノードに過剰に依存し、構造的に同等の遠く離れたノードを十分に活用しない問題に対処する。
• 構造的に同等のノード対（直接的な隣接関係がないが、同じトポロジカルな役割を持つノード）を特定し、それらをポジティブサンプルとして活用する手法を提案すること。
• ホモフィリックなサンプルと構造的同等なサンプルの両方を組み合わせることで、グラフ表現学習の一般化性能を向上させること。これは、GC結合仮説として形式化される。
• データセットの特性に応じて構造的同等性の影響を適応的に調整できる共同学習メカニズムを構築すること。

提案手法

• 持続的ホモロジーを用いて、複数スケールのノードのトポロジカル構造を捉えるマルチスケールのトポロジカル特徴を抽出する。
• 持続的ホモロジーから得られるトポロジカル特徴に基づいて、ノード対間の構造的同等性を計算する。
• 構造的同等性が高いために非近接ノード対が表現空間で近づくように促すトポロジカル損失関数を設計する。
• 標準的な対照学習と、ハイパーパrameter λ で制御される共同学習メカニズムにより、トポロジカル損失を統合し、同質性と構造的同等性のバランスをとる。
• ノード次数とリッチィ曲率を、持続的ホモロジーの代わりの割り当て関数として用い、その選択にかかわらず安定した性能が得られることを示した。
• 持続的画像生成において異なる解像度設定を用い、トポロジカル特徴をさまざまな粒度で特徴づける。性能は、サイズや密度が異なるデータセットで評価された。

実験結果

リサーチクエスチョン

• RQ1 構造的に同等の非近接ノードは、同質的近隣ノードに加えて、グラフ自己教師あり学習における有効なポジティブサンプルとして機能できるか？
• RQ2 持続的ホモロジーを用いて抽出されたトポロジカル特徴は、ノード間の構造的同等性を特定・測定するためにどのように利用できるか？
• RQ3 近隣ベースのポジティブサンプルに依存するのではなく、構造的同等性を組み込むことで、グラフニューラルネットワークの一般化性能が向上するか？
• RQ4 トポロジカル記述の選択（例：次数 vs. リッチィ曲率）がモデル性能に与える影響は何か？
• RQ5 異なるグラフ特性に適した、持続的ホモロジーにおけるトポロジカル特徴表現の最適な粒度は何か？

主な発見

• 提案手法は、7つのベンチマークデータセットすべてにおいてノード分類精度を向上させ、ベースラインモデル比で1.6%〜2.6%の向上を達成した。
• Coraではλ=0.1で84.3%の精度を達成し、ベースラインの82.7%を上回った。
• Amazon Photoではλ=0.3で93.7%の精度を達成し、ベースラインの92.2%を上回った。
• 持続的画像生成における解像度を細かくすることで、Cora や Citeseer のような小規模・スパースなグラフで性能が向上したが、Coauthor Physics のような大規模・高密度グラフでは粗い解像度がより効果的であった。
• トポロジカル割り当て関数の選択にかかわらず、モデルは安定した性能を示し、ノード次数とリッチィ曲率の両方で類似した性能向上が得られた。
• λを用いた共同学習により、モデルはホモフィリック性と構造的同等性のバランスを適応的に調整でき、多様なデータセットで一貫した性能向上が得られた。