[論文レビュー] Confidence-based Graph Convolutional Networks for Semi-Supervised Learning

Shikhar Vashishth, Prateek Yadav+2 more|arXiv (Cornell University)|Jan 24, 2019

Advanced Graph Neural Networks被引用数 23

ひとこと要約

本稿では、ノードラベルスコアとその関連する信頼度を同時に予測する新しいグラフ畳み込みネットワーク、ConfGCNを提案する。信頼度推定値を用いて、メッセージスティンの過程で近隣ノードの影響を動的に重み付けすることで、非均一な集約（高信頼度の近隣ノードを優遇）を実現する。これにより、ノイズが多いか、エントロピーの高い近隣ノードにおいても、最先端の手法を上回る性能を発揮し、深層アーキテクチャにおいても性能の低下を緩和する。

ABSTRACT

Predicting properties of nodes in a graph is an important problem with applications in a variety of domains. Graph-based Semi-Supervised Learning (SSL) methods aim to address this problem by labeling a small subset of the nodes as seeds and then utilizing the graph structure to predict label scores for the rest of the nodes in the graph. Recently, Graph Convolutional Networks (GCNs) have achieved impressive performance on the graph-based SSL task. In addition to label scores, it is also desirable to have confidence scores associated with them. Unfortunately, confidence estimation in the context of GCN has not been previously explored. We fill this important gap in this paper and propose ConfGCN, which estimates labels scores along with their confidences jointly in GCN-based setting. ConfGCN uses these estimated confidences to determine the influence of one node on another during neighborhood aggregation, thereby acquiring anisotropic capabilities. Through extensive analysis and experiments on standard benchmarks, we find that ConfGCN is able to outperform state-of-the-art baselines. We have made ConfGCN's source code available to encourage reproducible research.

研究の動機と目的

• 半教師あり学習におけるグラフ畳み込みネットワーク（GCN）の信頼度推定の欠如に対処すること。
• 標準的なGCNが均一な近隣ノード集約により失敗する、異種性やノイズが多い近隣ノードを有するグラフにおけるノード分類の改善。
• 信頼度スコアを用いて、グラフ畳み込みの過程で非均一な影響重み付けを可能にする手法の開発。
• 信頼度ベースの重み付けが、高エントロピーの近隣ノードや深層アーキテクチャにおけるロバスト性を向上させることの実証。

提案手法

• ConfGCNは、予測損失と信頼度正則化の両方を組み込んだ微分可能関数を用いて、ノードラベルスコアと信頼度スコアを同時に学習する。
• 集約の過程で、近隣ノードの影響をその信頼度推定値で調節することで、非均一なメッセージスティンを実現する。
• 信頼度スコアはモデル自身の予測から導出され、バックプロパゲーションによりエンドツーエンドで最適化される。
• 本手法は、近隣ノードの影響がその予測ラベルの信頼度に比例する、信頼度に配慮した集約メカニズムを導入する。
• ラベル予測と信頼度正則化項を組み合わせたマルチタスク損失関数を採用し、信頼度推定の安定性を向上させる。
• 標準的な引用ネットワーク（Cora, Citeseer, Cora-ML）を用いた実験により、Kipf-GCN や GAT よりも優れたロバスト性と性能を示した。

実験結果

リサーチクエスチョン

• RQ1 ラベルスコアと信頼度スコアの共同推定は、グラフ上の半教師ありノード分類における一般化性能の向上に寄与するか？
• RQ2 信頼度ベースの近隣ノード重み付けは、高エントロピーまたはノイズの多いグラフ近隣ノードにおいて性能にどのように影響を与えるか？
• RQ3 信頼度に配慮した集約は、深層GCNアーキテクチャにおける性能の低下を緩和できるか？
• RQ4 信頼度推定は、ノード近隣のラベル不一致に対して、どの程度のロバスト性を向上させるか？

主な発見

• ConfGCNは、すべてのデータセットでKipf-GCN や GAT を上回り、Cora-ML の高次数ノードにおいてはGAT や Kipf-GCN よりも3%の向上を達成した。
• ConfGCNは、近隣ラベルエントロピーの四分位数すべてにおいて優れた性能を示し、極めて異種性の高い近隣ノードにおいても正確性を維持した。
• Kipf-GCNと比較して、GCNの深さが増すに従い、性能低下がより緩やかに進行した。一方、Kipf-GCNは急激な精度低下を示した。
• アブレーションスタディの結果、損失関数のすべての構成要素（信頼度正則化とラベル予測損失）が性能向上に寄与しており、完全な目的関数が最良の結果をもたらした。
• 信頼度推定により、非均一な集約が可能となり、図1のノード $a$ を正しく分類できるようになった。高信頼度の近隣ノード $b$ と $c$ が、低信頼度の近隣ノード $d$、$e$、$f$ よりも高い影響を持つようになっている。
• Cora-ML データセットでは、小規模なサブグラフにおけるラベル不一致率が高いため、誤り伝搬に苦しむGPNNよりも、ConfGCNが優れた性能を発揮した。