[論文レビュー] Towards Robust Graph Neural Networks for Noisy Graphs with Sparse Labels

Enyan Dai, Wei Jin+2 more|arXiv (Cornell University)|Jan 1, 2022

Advanced Graph Neural Networks被引用数 9

ひとこと要約

本稿では、ノイジーエッジを教師信号として活用してノイズ除去および密度化されたグラフを学習する、耐性のあるグラフニューラルネットワークフレームワークRS-GNNを提案する。この手法により、半教師ありノード分類におけるメッセージスレッディングが向上する。リンク予測によるグラフの洗練とラベルスムージング正則化を組み合わせることで、ノイズが多くかつラベルが少ないグラフにおいて、SOTAの性能を達成する。特に、Coraにおいて15%のMetattack摂動下で、ベースラインと比較して最高で11.5%の精度向上を達成した。

ABSTRACT

Graph Neural Networks (GNNs) have shown their great ability in modeling graph structured data. However, real-world graphs usually contain structure noises and have limited labeled nodes. The performance of GNNs would drop significantly when trained on such graphs, which hinders the adoption of GNNs on many applications. Thus, it is important to develop noise-resistant GNNs with limited labeled nodes. However, the work on this is rather limited. Therefore, we study a novel problem of developing robust GNNs on noisy graphs with limited labeled nodes. Our analysis shows that both the noisy edges and limited labeled nodes could harm the message-passing mechanism of GNNs. To mitigate these issues, we propose a novel framework which adopts the noisy edges as supervision to learn a denoised and dense graph, which can down-weight or eliminate noisy edges and facilitate message passing of GNNs to alleviate the issue of limited labeled nodes. The generated edges are further used to regularize the predictions of unlabeled nodes with label smoothness to better train GNNs. Experimental results on real-world datasets demonstrate the robustness of the proposed framework on noisy graphs with limited labeled nodes.

研究の動機と目的

• 構造的ノイズを含み、ラベル付きノードが限られている現実世界のグラフにおいて、耐性のあるグラフニューラルネットワーク（GNN）を訓練するという重要な課題に対処する。
• ノイジーエッジとラベルのスパarsityが、メッセージスレッディング機構を損なうことでGNNの性能を低下させることを特定する。
• グラフのノイズ除去と密度化を同時に実現する統合フレームワークを構築する。
• ノイジーグラフの固有構造を教師信号として活用し、信頼性の高いノイズ除去済みで密度の高いグラフを生成するリンク予測器を訓練する。
• 生成されたグラフ上にラベルスムージング正則化を導入し、未ラベルノードをより効果的に活用し、ラベル不足下での一般化性能を向上させる。

提案手法

• ノード特徴量を用いてリンク予測器を訓練し、類似しないノード間のエッジに低い重みを割り当て（ノイズを示唆）、類似するノード間のエッジに高い重みを割り当てる。
• リンク予測器の出力を用いて、ノイズ除去済みかつ密度化されたグラフを生成し、ノイズエッジを削除または重みを低下させるとともに、妥当な欠落リンクを追加する。
• 生成されたグラフをGNN学習プロセスの正則化子として用い、未ラベルノードにおけるメッセージスレッディングと表現学習を強化する。
• 予測されたグラフ構造上にラベルスムージング正則化を組み込み、接続されたノード間で一貫した予測を促進し、一般化性能を向上させる。
• ハイパーパrameter α を用いたリンク予測損失と、ハイパーパrameter β を用いたラベルスムージング損失を統合的に最適化することで、グラフ再構築と予測忠実度のバランスを取る。
• リンク予測器としてGNN（例：GCN）を用いるが、敵対的エッジがその性能を低下させることを示し、耐性のある学習戦略の必要性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 ノイジーエッジとラベルスパarsityが、半教師ありノード分類における標準GNNの性能にどのように同時に悪影響を及けるのか？
• RQ2 グラフ内のノイジーエッジを教師信号として活用することで、GNNの耐性を向上させるノイズ除去済みかつ密度化されたグラフを学習できるか？
• RQ3 生成されたグラフにおける密度化とラベルスムージング正則化は、ラベルスパarsityの影響をどの程度軽減できるか？
• RQ4 提案されたRS-GNNフレームワークは、ハイパーパrameter α（リンク予測損失重み）および β（ラベルスムージング損失重み）に対してどの程度感受性を示すか？
• RQ5 敵対的攻撃下や異なるラベル率における既存手法と比較して、RS-GNNの耐性はどの程度高いか？

主な発見

• Coraにおいて15%のMetattack摂動下でラベル付きノードが10%に制限された状況でも、RS-GNNは71.2%のテスト精度を達成し、次善のベースラインを11.5ポイントも上回った。
• アブレーションスタディの結果、グラフ密度化（RS-GNN\A）またはラベルスムージング（RS-GNN\U）を削除すると顕著な性能低下が生じ、両者が不可欠であることを確認した。
• リンク予測器としてGCNを用いたバージョン（RS-GNN GCN）は性能が著しく低く、敵対的エッジがGNNの性能を損ない、リンク予測の質を低下させることを示した。
• ラベルレートが上昇するにつれて、RS-GNNとRS-GNN\Uの性能差が縮小する傾向を示した。これは、ラベルスパarsityが本手法の有効性の主な要因であることを裏付けた。
• パラメータ感受性分析の結果、αは慎重にチューニングする必要があることが判明した。摂動を加えたグラフでは、値が高すぎるとノイズに過剰適合し、性能が低下する。
• 最適なβの範囲（0.03〜0.3）は、複数のデータセットで安定した性能を提供し、ハイパーパrameter選定を容易にした。