[論文レビュー] Shift-Robust GNNs: Overcoming the Limitations of Localized Graph Training Data

Qi Zhu, Natalia Ponomareva+2 more|arXiv (Cornell University)|Aug 2, 2021

Advanced Graph Neural Networks被引用数 36

ひとこと要約

SR-GNNは、偏った訓練ラベルとグラフ推論分布との間の分布シフトを緩和する一般的なフレームワークであり、深い GNN と線形化された GNN の両方にわたり半教師ありノード分類を改善します。

ABSTRACT

There has been a recent surge of interest in designing Graph Neural Networks (GNNs) for semi-supervised learning tasks. Unfortunately this work has assumed that the nodes labeled for use in training were selected uniformly at random (i.e. are an IID sample). However in many real world scenarios gathering labels for graph nodes is both expensive and inherently biased -- so this assumption can not be met. GNNs can suffer poor generalization when this occurs, by overfitting to superfluous regularities present in the training data. In this work we present a method, Shift-Robust GNN (SR-GNN), designed to account for distributional differences between biased training data and the graph's true inference distribution. SR-GNN adapts GNN models for the presence of distributional shifts between the nodes which have had labels provided for training and the rest of the dataset. We illustrate the effectiveness of SR-GNN in a variety of experiments with biased training datasets on common GNN benchmark datasets for semi-supervised learning, where we see that SR-GNN outperforms other GNN baselines by accuracy, eliminating at least (~40%) of the negative effects introduced by biased training data. On the largest dataset we consider, ogb-arxiv, we observe an 2% absolute improvement over the baseline and reduce 30% of the negative effects.

研究の動機と目的

• 非 IID, 偏ったラベルサンプリングが半教師ありノード分類における GNN の一般化に与える影響を動機づけ、定量化する。
• biased training data と真のグラフ分布との間の分布シフトに適応させるため、Shift-Robust GNN（SR-GNN）を導入する。
• 深い GNN（隠れ層への正則化）と線形化 GNN（インスタンス再加重）の双方のシフトに対処するメカニズムを提案する。
• さまざまな GNN アーキテクチャで機能する統一的なフレームワークを提供し、制御されたバイアスの下で標準ベンチマークでその有効性を検証する。

提案手法

• GNN における分布シフトを、最後の隠れ層によって生成される訓練表現 Z と推論表現の不一致として定義する。
• 微分可能な GNN において、CMD に基づく不一致正則化を用いて biased training 表現 Z_train と IID 表現 Z_IID の間のシフトを最小化する。
• 線形化 GNN の場合、カーネル平均一致（KMM）によるインスタンス再加重を適用し、誘導されたグラフ帰納バイアス特徴 h_i を凸二次計画法の下で IID に類似したサンプル h_i' と整合させる。
• クロスエントロピー損失と CMD 正則化項を組み合わせ、適用可能な場合にはインスタンス重み付き損失項を追加する統一的な SR-GNN 目的関数を提案する。
• 特徴エンコーディングとグラフ誘導バイアスを共同デバイアスする方法を示す具体的な APPNP ベースの実装例を示す。
• SR-GNN の GCN や DGI などの追加モデルへの適用性を、正則化と再重み付けの両方の成分を通じて示す。

実験結果

リサーチクエスチョン

• RQ1 局所的にバイアスのかかった訓練ラベル選択が全グラフ上の GNN の一般化にどのように影響するか？
• RQ2 統一された SR-GNN フレームワークは、深い GNN と線形化 GNN の両方で、偏った訓練データとグラフ全体の推論分布との分布シフトを縮小できるか？
• RQ3 CMD ベースの正則化とインスタンス再重み付け技術は、GNN の訓練時のバイアスを緩和するために相補的か？
• RQ4 制御されたラベリングバイアスの下で標準ベンチマークに対する SR-GNN の経験的有効性はどの程度で、ドメイン適応ベースラインと比較してどうか？

主な発見

• 偏った訓練サンプルは一般的な GNN ベンチマークで測定可能な性能低下を引き起こし、デバイアス手法を動機づける。
• SR-GNN は一貫して分布シフトの影響を低減し、いくつかのデータセットでバイアスによる性能低下を少なくとも約40%程度緩和する。
• ogb-arxiv では、SR-GNN がベースラインより絶対精度を2%改善し、訓練データのバイアスによる影響の約30%を緩和する。
• 不一致正則化とインスタンス再加重の双方を組み合わせると、片方のバイアス補正法だけを用いる場合よりも強い性能向上を得られる。
• SR-GNN は深い GCN に似たモデルと線形化 GNN（例: APPNP, SGC）の両方に効果的に適用可能であり、この設定で DANN のようなドメイン対立法よりも優れた性能を発揮できる。
• 大規模ベンチマーク（reddit, ogb-arxiv）において、SR-GNN は ΔF1loss を低減し、低ラベル時でも競争力のある精度を維持する。