[論文レビュー] What Makes Graph Neural Networks Miscalibrated?

Hans Hao-Hsun Hsu, Yuesong Shen+2 more|arXiv (Cornell University)|Oct 12, 2022

Advanced Graph Neural Networks被引用数 10

ひとこと要約

この論文は、グラフニューラルネットワーク（GNN）におけるキャリブレーションに影響を与える5つの要因を特定している：過小信頼、予測の多様性、訓練ノードからの距離、相対的信頼度、近隣ノードの類似性。これらの要因に対処するため、著者らは、ソート済みのログ確信度上でのアテンションメカニズムを用いてノード固有の温度スケーリング係数を学習する、データ効率的で精度を損なわないGraph Attention Temperature Scaling（GATS）を提案。この手法は、複数のGNNバックボーンとデータセットで最先端のキャリブレーション性能を達成している。

ABSTRACT

Given the importance of getting calibrated predictions and reliable uncertainty estimations, various post-hoc calibration methods have been developed for neural networks on standard multi-class classification tasks. However, these methods are not well suited for calibrating graph neural networks (GNNs), which presents unique challenges such as accounting for the graph structure and the graph-induced correlations between the nodes. In this work, we conduct a systematic study on the calibration qualities of GNN node predictions. In particular, we identify five factors which influence the calibration of GNNs: general under-confident tendency, diversity of nodewise predictive distributions, distance to training nodes, relative confidence level, and neighborhood similarity. Furthermore, based on the insights from this study, we design a novel calibration method named Graph Attention Temperature Scaling (GATS), which is tailored for calibrating graph neural networks. GATS incorporates designs that address all the identified influential factors and produces nodewise temperature scaling using an attention-based architecture. GATS is accuracy-preserving, data-efficient, and expressive at the same time. Our experiments empirically verify the effectiveness of GATS, demonstrating that it can consistently achieve state-of-the-art calibration results on various graph datasets for different GNN backbones.

研究の動機と目的

• GNNがノード分類タスクにおいて誤ったキャリブレーション予測を生じる理由を理解すること。
• GNNのキャリブレーション品質に影響を与える構造的および予測的要因を同定すること。
• グラフのトポロジーとノードの相関関係を尊重する、GNNに特化したキャリブレーション手法を開発すること。
• キャリブレーション手法がモデルの精度を保持し、データ効率的であることの保証をすること。
• 提案手法を多様なグラフデータセットとGNNアーキテクチャで、実験的に検証すること。

提案手法

• 著者らは、GNNのキャリブレーションに影響を与える5つの要因（一般化された過小信頼、ノードごとの予測分布の多様性、訓練ノードからの距離、相対的信頼度、近隣ノードの類似性）を特定するための体系的調査を実施した。
• 彼らは、ソート済みのログ確信度上でのアテンションメカニズムを用いてノード固有の温度スケーリング係数を学習する、Graph Attention Temperature Scaling（GATS）を提案した。
• GATSは、上位k個のログ確信度からの情報を集約するマルチヘッドアテンション機構を用い、表現力がありグラフに適応した温度調整を可能にしている。
• この手法は訓練後処理として適用され、元のモデルの予測順序を維持するため、精度が損なわれない。
• アテンションメカニズムにより、相対的な大きさと局所的なグラフコンテキストに基づいて、異なるログ確信度値の重要性を動的に重み付けできる。
• GATSは検証セットを用いて訓練され、GNNバックボーンの再訓練を必要としない。

実験結果

リサーチクエスチョン

• RQ1 ノード分類タスクにおけるグラフニューラルネットワークの誤ったキャリブレーションに寄与する要因は何ですか？
• RQ2 訓練ノードからの距離や近隣ノードの類似性といったグラフの構造的特性が、予測の信頼度にどのように影響するでしょうか？
• RQ3 予測の相対的信頼度が、局所的なグラフ特性とどの程度相関しているでしょうか？
• RQ4 グラフに適応したノード固有の温度スケーリング手法は、精度を保持したままキャリブレーションを改善できるでしょうか？
• RQ5 GATSは、既存の後処理キャリブレーション手法と比較して、キャリブレーション性能、データ効率、表現力の面でどの程度優れていますか？

主な発見

• GNNは、特に訓練ノードから遠い領域では一般に過小信頼の傾向を示すが、これは標準的なニューラルネットワークでは観察されない。
• ノードごとの予測分布の多様性は、キャリブレーションに顕著な影響を与える要因であり、多様性が高いほどキャリブレーションが悪化する傾向にある。
• 訓練ノードから遠いノードは、特にデータが少ない状況下で、よりキャリブレーションが悪い傾向にある。
• 近隣ノードの類似性（同型性）は、相対的信頼度と部分的に相関しており、特に負の同型性領域で顕著である。
• GATSは、Cora、Citeseer、PubMed、CoraFullといった複数のデータセットと、GCN、GATといった複数のGNNバックボーンで、最先端のキャリブレーション性能を達成している。
• GATSはデータ効率的であり、元のモデルの精度を維持しながら、信頼性図と期待キャリブレーション誤差（ECE）を著しく改善している。