[論文レビュー] Be Confident! Towards Trustworthy Graph Neural Networks via Confidence Calibration

Xiao Wang, Hongrui Liu+2 more|arXiv (Cornell University)|Sep 29, 2021

Advanced Graph Neural Networks参考文献 39被引用数 36

ひとこと要約

論文は GNN が通常は過小信頼であることを示し、トポロジー対応のポスト-hoc 校正モデル CaGCN と、校正された自己学習を行う CaGCN-st の導入を提案する。校正と精度の両方を向上させる。

ABSTRACT

Despite Graph Neural Networks (GNNs) have achieved remarkable accuracy, whether the results are trustworthy is still unexplored. Previous studies suggest that many modern neural networks are over-confident on the predictions, however, surprisingly, we discover that GNNs are primarily in the opposite direction, i.e., GNNs are under-confident. Therefore, the confidence calibration for GNNs is highly desired. In this paper, we propose a novel trustworthy GNN model by designing a topology-aware post-hoc calibration function. Specifically, we first verify that the confidence distribution in a graph has homophily property, and this finding inspires us to design a calibration GNN model (CaGCN) to learn the calibration function. CaGCN is able to obtain a unique transformation from logits of GNNs to the calibrated confidence for each node, meanwhile, such transformation is able to preserve the order between classes, satisfying the accuracy-preserving property. Moreover, we apply the calibration GNN to self-training framework, showing that more trustworthy pseudo labels can be obtained with the calibrated confidence and further improve the performance. Extensive experiments demonstrate the effectiveness of our proposed model in terms of both calibration and accuracy.

研究の動機と目的

• 半教師付きノード分類において GNN が適切に校正されているかを識別する。
• 既存の GNN における過小信頼を示し、それが信頼可能な予測へ与える影響を示す。
• CaGCN を提案する。トポロジー認識で非線形かつ精度を保持する校正関数で、GCN に適用する。
• 校正された信頼度が GNN の自己訓練性能を向上させることを示す。
• 標準データセットでの校正指標と予測精度の実証的利得を示す。

提案手法

• Cora, Citeseer, Pubmed, CoraFull に対する信頼性図と信頼度分布を用いて、GCN と GAT が過小信頼であることを示す。
• 分類用 GCN から得たロジットを受け取り、グラフのトポロジーに沿って校正済み信頼度を伝播させ、ノードごとに校正済み確率を生じさせる、校正用 GCN CaGCN を提案する。
• 別の GCN により学習されるノードごとの温度を用いた、温度スケール風メカニズムを設計して精度の保持を確保し、クラス順序を維持する。単調性の考慮の証明を提供する。
• 正解予測で高い信頼度、誤り予測で低い信頼度を促す、negative log-likelihood(NLL) と信頼度校正正則化項を組み合わせた最適化を定式化する。
• CaGCN を CaGCN-st に拡張する。校正済み信頼度が擬似ラベルを生成する自己訓練フレームワークで、段階的再訓練と性能向上を可能にする。

実験結果

リサーチクエスチョン

• RQ1 半教師付きノード分類における一般的な GNN（GCN、GAT）の校正状態は何か。
• RQ2 トポロジー対応の校正は、精度を犠牲にせず信頼度の推定を改善できるか。
• RQ3 校正を改善しつつ元の分類器の精度を保持するような校正関数をどのように設計できるか。
• RQ4 グラフ設定におけるラベルなしノードの自己訓練において、信頼度の校正は有益か。
• RQ5 CaGCN および CaGCN-st は標準データセットで校正指標と精度にどのような実証的向上を達成できるか。

主な発見

• GNNs（GCN、GAT）は過小信頼であり、信頼性図ではデータセット全体で正解率が信頼度より高いことを示している。
• CaGCN は校正を改善し（ECE低下）、非校正モデル、TS、MS のベースラインと比較して分類精度を維持または向上させる。
• CaGCN-st は複数のラベル割合で Cora, Citeseer, Pubmed, CoraFull のノード分類精度で一貫してベースラインを上回る。
• CaGCN による信頼度の校正は効果的な自己訓練を可能にし、従来の自己訓練法より高い精度をもたらす。
• 提案アプローチはトポロジー対応の信頼度平滑化を活用し、精度を保持した校正を実現する。