[論文レビュー] Measuring and Improving the Use of Graph Information in Graph Neural Networks

Yifan Hou, Jian Zhang+5 more|arXiv (Cornell University)|Jun 27, 2022

Advanced Graph Neural Networks参考文献 60被引用数 72

ひとこと要約

本論文は、GNNの近傍情報がどれだけ有用であるかを定量化する2つのグラフ平滑化指標を導入し、これらの指標を用いて隣接情報を選択的に集約するCS-GNNを提案する。これにより多様なグラフで性能を向上させる。

ABSTRACT

Graph neural networks (GNNs) have been widely used for representation learning on graph data. However, there is limited understanding on how much performance GNNs actually gain from graph data. This paper introduces a context-surrounding GNN framework and proposes two smoothness metrics to measure the quantity and quality of information obtained from graph data. A new GNN model, called CS-GNN, is then designed to improve the use of graph information based on the smoothness values of a graph. CS-GNN is shown to achieve better performance than existing methods in different types of real graphs.

研究の動機と目的

• GNNがグラフデータから得られる性能がどれだけ寄与するかを理解する必要性を動機づける。
• 近傍情報の量（λ_f）と質（λ_l）を定量化する2つの平滑化指標を定義する。
• 平滑性を活用して近傍情報を選択的に集約するCS-GNNを提案する。
• CS-GNNが実世界のグラフ全体で優れたまたは競争力のある性能を達成することを実証する。

提案手法

• roundごとに2つのマッピングを持つ文脈周辺GNNフレームワークを定義する: c_v^{(k)} = f1(c_v^{(k-1)}, s_v^{(k-1)}) と s_v^{(k-1)} = f2(sum_{v' in N_v} a_{i,j}^{(k-1)} c_{v'}^{(k-1)}).
• 特徴平滑度λ_fは周囲からの情報獲得を測り、ラベル平滑度λ_lは周囲からの潜在的な負の乱れを測る2つの平滑度指標を導入する。
• 平均アグリゲータに対してλ_fとKLダイバージェンス D_KL(S||C) の関係を導出する（定理4）。
• 乗法的アテンションを備えたCS-GNNを提案する。係数 a_{i,j}^{(k)} は近傍-文脈の相互作用を介して計算され、ノイズの多い近傍を抑制し表現次元を調整するようλ_fとλ_lを組み込む。
• CS-GNNを拡張して局所トポロジ特徴（GraphWave風のトポロジ特徴）などのサイド情報をアテンションと最終予測に取り入れる。
• 実データグラフ上でGCN、GraphSAGE、GAT、トポロジ/特徴ベースのベースラインに対して比較実験設定を提供する。

実験結果

リサーチクエスチョン

• RQ1 GNNが特定のグラフとタスクにおいて近傍情報の有用性を如何に定量化できるか。
• RQ2 2つの平滑度指標（特徴平滑度とラベル平滑度）は情報獲得とタスク性能と相関するか。
• RQ3 CS-GNNは平滑度指標を用いて近傍を選択的に集約し、多様なグラフで性能を改善できるか。

主な発見

アルゴリズム	Citeseer	Cora	PubMed	Amazon	BGP（小）	BGP（全）
struc2vec	30.98	41.34	47.60	39.86	48.40	49.66
GraphWave	28.12	31.66	OOM	37.33	50.26	OOM
Label Propagation	71.07	86.26	78.52	88.90	34.05	36.82
Logistic Regression	69.96	76.62	87.97	85.89	65.34	62.41
MLP	70.51	73.40	87.94	86.46	67.08	67.00
GCN	71.27	80.92	80.31	91.17	51.26	54.46
GraphSAGE	69.47	83.61	87.57	90.78	65.29	64.67
GAT	74.69	90.68	81.65	91.75	47.44	58.87
CS-GNN (w/o LTF)	73.58	90.38	89.42	92.48	66.20	68.83
CS-GNN	75.71	91.26	89.53	92.77	66.39	68.76

• 提案された2つの平滑度指標は、GNNにおける近傍からの情報量λ_fと情報質λ_lを定量化する。
• 平均アグリゲータを用いた場合、λ_fは情報獲得と正の相関を持ち、D_KL(S||C)はλ_fとともに増加する（λ_f=0のときゼロ）。
• より高いλ_l（より多くのクロスラベルエッジ）は周囲からの負の影響を示し、そのようなエッジを減らすと性能が向上する。
• CS-GNNはCiteseer、Cora、PubMed、Amazon、BGPデータセットでGCN、GraphSAGE、GATおよびトポロジ/特徴ベースのベースラインと比較して一貫して競合的または優れたノード分類性能を示す。
• サイド情報（局所トポロジ特徴）をCS-GNNのアテンション機構と最終予測に組み込むことは、必ずしも性能向上の要件ではなくてもCS-GNNに統合可能である。
• 平滑度ガイド付きアテンションを用いたCS-GNNは、λ_fが大きくλ_lが小さいグラフで顕著な改善を示し、従来のGNNが苦戦するグラフで特に効果が高い。