[論文レビュー] Unified Robust Training for Graph NeuralNetworks against Label Noise

Yayong Li, Jie Yin+1 more|arXiv (Cornell University)|Mar 5, 2021

Machine Learning and Data Classification参考文献 21被引用数 6

ひとこと要約

本稿では、半教師あり設定におけるラベルノイズに対して堅牢に訓練できるグラフニューラルネットワーク（GNN）の統合フレームワークであるUnionNETを提案する。ランダムウォークを用いて構造的に近いノードのラベルを集約することでノードレベルのクラス分布を推定し、清浄な教師信号や明示的なノイズ遷移行列の推定を必要とせずに、同時にサンプル再重み付けとラベル補正を実行する。本手法は、さまざまなノイズタイプとノイズ率において、複数のデータセットで最先端の性能を達成した。

ABSTRACT

Graph neural networks (GNNs) have achieved state-of-the-art performance for node classification on graphs. The vast majority of existing works assume that genuine node labels are always provided for training. However, there has been very little research effort on how to improve the robustness of GNNs in the presence of label noise. Learning with label noise has been primarily studied in the context of image classification, but these techniques cannot be directly applied to graph-structured data, due to two major challenges -- label sparsity and label dependency -- faced by learning on graphs. In this paper, we propose a new framework, UnionNET, for learning with noisy labels on graphs under a semi-supervised setting. Our approach provides a unified solution for robustly training GNNs and performing label correction simultaneously. The key idea is to perform label aggregation to estimate node-level class probability distributions, which are used to guide sample reweighting and label correction. Compared with existing works, UnionNET has two appealing advantages. First, it requires no extra clean supervision, or explicit estimation of the noise transition matrix. Second, a unified learning framework is proposed to robustly train GNNs in an end-to-end manner. Experimental results show that our proposed approach: (1) is effective in improving model robustness against different types and levels of label noise; (2) yields significant improvements over state-of-the-art baselines.

研究の動機と目的

• ラベルノイズ下でのGNNの堅牢な訓練手法の不足、特にラベルが疎である半教師あり設定における課題に対処すること。
• 画像ベースのラベルノイズ補正手法が、ラベルの疎らさとラベル依存性のため、グラフ上で失敗するという制限を克服すること。
• 清浄データやノイズ遷移行列の推定に依存せずに、同時にサンプル再重み付けとラベル補正を実行する統合フレームワークを構築すること。
• 現実世界のグラフデータセットにおける対称的・非対称的ラベルノイズ下でも、GNNの一般化性能と耐性を向上させること。

提案手法

• 構造的に近いノードからのラベルを集約するためにランダムウォークを用い、ノードレベルのクラス確率分布を生成する。
• 推定されたクラス分布をもとに、損失関数におけるサンプル再重み付けを実行し、信頼性の低いラベルの影響を低減する。
• 集約された分布に基づいて元のラベルが信頼性がないと判断された場合、予測確率に置き換えることでラベル補正を統合する。
• モデルパラメータ、サンプル再重み付け、ラベル補正を一括して最適化する統合的最適化問題を定式化する。
• 高ノイズ環境下での性能低下を防ぐために、ラベル補正を正則化するための事前分布損失を適用する。
• 感度解析を用いてハイパーパrameter α（再重み付けと補正のトレードオフ）と β（ラベル集約の滑らかさ）を調整する。

実験結果

リサーチクエスチョン

• RQ1 清浄な教師信号を必要とせず、同時にGNNのラベルノイズ耐性向上と効果的なラベル補正を実現できる統合フレームワークは存在するか？
• RQ2 ランダムウォークによるラベル集約は、疎でノイズの多いグラフ環境下で信頼性推定をどのように改善するか？
• RQ3 高ノイズのグラフ環境下で、サンプル再重み付けとラベル補正の最適なバランスは何か？
• RQ4 ハイパーパrameter α と β は、統合訓練フレームワークの性能にどのように影響するか？
• RQ5 ラベル補正は常に性能を向上させるわけではない。性能が低下する条件は存在するか？

主な発見

• UnionNETは、Cora、Citeseer、Pubmedの各データセットで、対称的および非対称的ラベルノイズ下において最先端の性能を達成し、既存のベースラインを上回った。
• 40％の対称的ノイズを含むCoraでは、UnionNET-GCNが0.491の精度を達成したのに対し、標準的なGCNは0.420にとどまった。
• アブレーションスタディの結果、再重み付けのみを実行するUnionNET-Rは常にGCNを上回ったが、補正を含むUnionNET-RCは、事前分布損失による正則化がなければ、高ノイズ環境下で性能を発揮しなかった。
• ハイパーパrameter分析の結果、中程度のαおよびβ値で最適な性能が得られ、中程度のランダムウォーク長さで性能がピークに達した。
• Pubmedでは、α = 1.0で最も良い性能を示し、強いクラスタリング構造と少ないクラス数のおかげで予測ラベルがより信頼性が高いことが示された。
• 本フレームワークは、多様なGNNアーキテクチャとノイズタイプにわたり堅牢であり、現実世界のグラフ学習における一般化性能と実用的価値を示した。