[論文レビュー] Uncertainty Aware Semi-Supervised Learning on Graph Data

Xujiang Zhao, Feng Chen+2 more|arXiv (Cornell University)|Oct 24, 2020

Advanced Graph Neural Networks参考文献 28被引用数 53

ひとこと要約

複数ソースの不確実性フレームワークをGNNに導入し、ノードレベルのDirichlet分布を用いて多項意見をモデル化し、GKDEを用いて不確実性推定を改善し、教師ネットワークを用いて半教師ありノード分類とOOD検出を強化する。

ABSTRACT

Thanks to graph neural networks (GNNs), semi-supervised node classification has shown the state-of-the-art performance in graph data. However, GNNs have not considered different types of uncertainties associated with class probabilities to minimize risk of increasing misclassification under uncertainty in real life. In this work, we propose a multi-source uncertainty framework using a GNN that reflects various types of predictive uncertainties in both deep learning and belief/evidence theory domains for node classification predictions. By collecting evidence from the given labels of training nodes, the Graph-based Kernel Dirichlet distribution Estimation (GKDE) method is designed for accurately predicting node-level Dirichlet distributions and detecting out-of-distribution (OOD) nodes. We validated the outperformance of our proposed model compared to the state-of-the-art counterparts in terms of misclassification detection and OOD detection based on six real network datasets. We found that dissonance-based detection yielded the best results on misclassification detection while vacuity-based detection was the best for OOD detection. To clarify the reasons behind the results, we provided the theoretical proof that explains the relationships between different types of uncertainties considered in this work.

研究の動機と目的

• 実世界の不確実性下で誤分類リスクを低減するために、グラフベースの半教師あり学習に複数の不確実性タイプを取り入れる動機付け。
• 深層学習と信念/証拠理論を組み合わせ、ノードレベルで多様な予測不確実性を推定するフレームワークを開発する。
• グラフデータにおける誤分類とOODノードの正確な検出を可能にする。
• グラフベースの予測における異なる不確実性タイプの関係に関する理論的洞察を提供する。

提案手法

• ノードの予測を、ノード固有パラメータ alpha_i = f_i(A, r; theta) を持つDirichlet分布で等価にモデル化される多項意見として表現する。
• 提案する Subjective Bayesian GNN（S-BGNN）は、ドロップアウトベースのベイズ推論を組み込み、P(y|A, r; G)を近似し、モデルパラメータの分布を学習する。
• GKDE（Graph-based Kernel Dirichlet distribution Estimation）を導入し、グラフ構造と訓練ラベルを用いてノードの事前Dirichletパラメータを推定し、不確実性推定を導く。
• 知識蒸馏を反復的に用いて正規化・洗練させる教師ネットワークを組み込み、Dirichlet分布と教師の予測との間のKLダイバージェンスを最小化する。
• 不確実性を制御しつつバイアスを低減するため、平方誤差と分散を組み合わせた損失関数を提供する。
• 真理的結果を活用し（例: vacuity、dissonance、entropy間の関係など）、各不確実性タイプがOOD検出対 Misclassification検出のどちらで情報量が多いかを解釈する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: グラフ上の半監視ノード分類において、どの予測不確実性のタイプが誤分類を最も効果的に信号として示すか？
• RQ2 RQ2: グラフデータでOODノードを最もよく示す不確実性タイプはどれか？
• RQ3 RQ3: GKDEはノードレベルDirichlet分布の推定を改善し、不確実性を考慮した予測を高めるか？
• RQ4 RQ4: 教師ネットワークとGKDEを組み込むと、分類精度と不確実性推定は実質的に改善されるか？

主な発見

• Dissonanceベースの検出は、評価された不確実性タイプの中で最も誤分類を特定するのに効果的。
• Vacuityベースの検出はOODノード検出に最も強い信号を提供。
• GKDEはノードレベルDirichlet分布の質を向上させ、OOD検出性能を高める。
• A Teacher Networkは提案フレームワークにおいてノード分類精度と不確実性推定をさらに向上させる。