[論文レビュー] Layer-diverse Negative Sampling for Graph Neural Networks
レイヤー間のネガティブサンプリングの多様性を、Determinantal Point Processesとスペーススクイージングを用いて導入し、GNNの層間ネガティブサンプルの冗長性を低減させ、表現力を向上させ、過度な圧縮を緩和します。
Graph neural networks (GNNs) are a powerful solution for various structure learning applications due to their strong representation capabilities for graph data. However, traditional GNNs, relying on message-passing mechanisms that gather information exclusively from first-order neighbours (known as positive samples), can lead to issues such as over-smoothing and over-squashing. To mitigate these issues, we propose a layer-diverse negative sampling method for message-passing propagation. This method employs a sampling matrix within a determinantal point process, which transforms the candidate set into a space and selectively samples from this space to generate negative samples. To further enhance the diversity of the negative samples during each forward pass, we develop a space-squeezing method to achieve layer-wise diversity in multi-layer GNNs. Experiments on various real-world graph datasets demonstrate the effectiveness of our approach in improving the diversity of negative samples and overall learning performance. Moreover, adding negative samples dynamically changes the graph's topology, thus with the strong potential to improve the expressiveness of GNNs and reduce the risk of over-squashing.
研究の動機と目的
- Positive-sampleのみに依存するGNNの限界（過平滑化、表現力の制限、過度な圧縮）を動機づけ、解決する。
- サンプルの多様性とグラフトポロジーのダイナミクスを高めるためのレイヤー多様性ネガティブサンプリングを提案する。
- Shortest-path候補集合、DPPベースのサンプリング、スペーススクイージングを組み合わせた、層状ネガティブを生成する計算的に実用的なパイプラインを開発する。
- LDGCNを多様な実世界グラフデータセットで実証的に検証し、性能向上とサンプル冗長性の低減を示す。
提案手法
- ネガティブサンプリングのオーバーヘッドを制限するためにShortest-pathベースの候補集合S_iを用いる（Algorithm 1）。
- DPPから多様性を考慮したネガティブサンプリングを可能にするサンプリング行列L^iを形成する（Eq. 5）。
- Quality-Diversity（Eq. 5–7）を用いてL^iを品質と多様性の項に分解する。
- スペーススクイージングをV（固有空間）に適用して、最終層のネガティブの再選択を減らす（Eq. 10, Remarks 3.1–3.2）。
- レイヤー多様な行列V'に対してk-DPPサンプリングを実行し、最終的なネガティブサンプルを選択する（Algorithm 2）。
- 負のサンプルをGCN風のメッセージパッシングに統合し、h_i^l = sum_{j in N_i ∪ {i}} w_{ij} h_j^{(l-1)} − μ sum_{ar{j} in N_ī} w_{iar{j}} h_{ar{j}}^{(l-1)} (Eq. 4)の形で表現する。
実験結果
リサーチクエスチョン
- RQ1レイヤー多様性ネガティブサンプルは、ベースラインのネガティブサンプリング手法と比較してGNNの性能を改善するか？
- RQ2提案サンプリングは層間の冗長性を減らしつつ、表現品質を維持または向上させるか？
- RQ3レイヤー多様性ネガティブサンプリングは、マルチレイヤーGNNにおける過平滑化と過度な圧縮を緩和できるか？
- RQ4LDGCNはさまざまなアーキテクチャとデータセット（同質性/異質性）でどう機能するか？
主な発見
| データセット | Citeseer | Cora | PubMed | CS | Computers | Photo | ogbn-arxiv |
|---|---|---|---|---|---|---|---|
| GCN | 55.78_{\u0000a0±\u0000a05.69} | 63.39_{\u0000a0±\n7.92} | 72.24_{\u0000a0±\n4.34} | 54.00_{\u0000a0±\n3.69} | 47.21_{\u0000a0±\n6.22} | 68.04_{\u0000a0±\n6.37} | 70.57_{\u0000a0±\n01.02} |
| GATv2 | 63.67_{\u0000a0±\n07.07} | 74.43_{\u0000a0±\n03.80} | 74.95_{\u0000a0±\n01.71} | 85.00_{\u0000a0±\n01.55} | 61.90_{\\u00a0±\\u00a05.38} | 79.08_{\u0000a0±\n03.43} | 70.60_{\u0000a0±\n08.6} |
| SAGE | 59.70_{\u0000a0±\n08.87} | 73.13_{\u0000a0±\n03.54} | 75.48_{\u0000a0±\n01.94} | 82.22_{\u0000a0±\n02.60} | 59.27_{\u0000a0±\n07.85} | 79.01_{\u0000a0±\n06.54} | 71.15_{\u0000a0±\n01.00} |
| GIN- ε | 60.89_{\u0000a0±\n01.97} | 68.07_{\u0000a0±\n08.87} | 72.93_{\u0000a0±\n05.09} | 59.00_{\u0000a0±\n09.52} | 37.09_{\u0000a0±\n02.21} | 31.56_{\u0000a0±\n06.91} | 35.04_{\u0000a0±\n05.33} |
| AERO | 62.35_{\u0000a0±\n04.88} | 73.37_{\u0000a0±\n06.83} | 72.80_{\u0000a0±\n03.50} | 64.50_{\u0000a0±\n15.70} | 50.20_{\u0000a0±\n10.0} | 56.61_{\u0000a0±\n14.54} | 70.04_{\u0000a0±\n09.1} |
| RGCN | 62.82_{\u0000a0±\n03.84} | 71.75_{\u0000a0±\n03.64} | 74.96_{\u0000a0±\n01.40} | 79.91_{\u0000a0±\n03.50} | 56.44_{\u0000a0±\n09.78} | 75.19_{\u0000a0±\n08.60} | 71.19_{\u0000a0±\n0.42} |
| MCGCN | 50.90_{\u0000a0±\n09.70} | 69.28_{\u0000a0±\n04.33} | 71.44_{\u0000a0±\n04.09} | 80.66_{\u0000a0±\n03.81} | 64.09_{\u0000a0±\n07.27} | 73.01_{\u0000a0±\n09.54} | 65.49_{\u0000a0±\n00.26} |
| PGCN | 63.03_{\u0000a0±\n04.87} | 70.37_{\u0000a0±\n04.51} | 75.47_{\u0000a0±\n01.78} | 52.73_{\u0000a0±\n11.14} | 71.13_{\u0000a0±\n06.27} | 79.26_{\u0000a0±\n06.67} | 66.16_{\u0000a0±\n0.45} |
| D2GCN | 63.30_{\u0000a0±\n02.01} | 73.02_{\u0000a0±\n03.01} | 75.36_{\u0000a0±\n01.82} | 83.47_{\u0000a0±\n02.94} | 74.19_{\u0000a0±\n02.06} | 82.78_{\u0000a0±\n04.23} | 71.46_{\u0000a0±\n02.1} |
| LDGCN | 68.27_±1.29 | 76.80_±1.26 | 77.07_±1.23 | 86.23_±0.55 | 77.92_±2.34 | 86.50_±1.48 | 71.66_±0.30 |
- LDGCNは、7つのベンチマークデータセットにおいて、多層設定（2–6層）でベースラインのGCN派生より一貫して精度を向上させる。
- レイヤー多様性サンプリングは層間ネガティブサンプルの重複を減少させ、多様性と情報カバレッジを高める。
- 実験ではLDGCNが複数のデータセットで最先端のネガティブサンプリングベースライン（RGCN, MCGCN, PGCN, D2GCN）を上回る。
- レイヤー多様性ネガティブは学習中にグラフトポロジを効果的に修正し、過度な圧縮を緩和し表現力を高める可能性がある。
- LDGCNは同質性・異質性グラフの両方で強力な結果を達成し、LD-GCN、LD-GATv2、LD-SAGE、LD-GINといったアーキテクチャの適合性を示す。
- DPPベースのサンプリングに内在する固有分解ステップの高コストを短経路候補集合で低減することで、時間/複雑さに対処している。
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。