[論文レビュー] Are Graph Neural Networks Miscalibrated?

Leonardo Vilela Teixeira, Brian Jalaian+1 more|arXiv (Cornell University)|May 7, 2019

Advanced Graph Neural Networks参考文献 44被引用数 7

ひとこと要約

この論文は、複数のベンチマークデータセットにおけるグラフニューラルネットワーク（GNNs）のキャリブレーションを調査し、一部のGNNsは良好にキャリブレートされている一方で、多くのGNNsは特に難しいタスクでは顕著にキャリブレーションがずれていることを発見した。温度スケーリングやモンテカルロドロップアウトといった最先端のキャリブレーション技術を適用しても、モデルのキャリブレーションは依然として悪く、GNNsの関係的・非i.i.d.なデータ構造が原因で、既存の手法が根本的なキャリブレーションのずれを解消できないことが示唆された。

ABSTRACT

Graph Neural Networks (GNNs) have proven to be successful in many classification tasks, outperforming previous state-of-the-art methods in terms of accuracy. However, accuracy alone is not enough for high-stakes decision making. Decision makers want to know the likelihood that a specific GNN prediction is correct. For this purpose, obtaining calibrated models is essential. In this work, we perform an empirical evaluation of the calibration of state-of-the-art GNNs on multiple datasets. Our experiments show that GNNs can be calibrated in some datasets but also badly miscalibrated in others, and that state-of-the-art calibration methods are helpful but do not fix the problem.

研究の動機と目的

• 標準的なグラフベンチマークデータセットにおける最先端GNNのキャリブレーション性能を評価すること。
• i.i.d.データを想定して設計された既存のキャリブレーション手法が、関係的（非i.i.d.）データ上で学習されたGNNのキャリブレーションのずれを効果的に是正できるかどうかを評価すること。
• GNNにおけるキャリブレーションのずれが、現在のキャリブレーション手法では解消できないシステム的問題であるかどうかを特定すること。
• 高リスク意思決定におけるGNN予測のソフトマックス信頼度スコアの信頼性に関する実証的証拠を提供すること。

提案手法

• 複数のデータセットで、Expected Calibration Error（ECE）を用いてGNN（GCN、GAT、GIN）のキャリブレーションを実証的に評価する。
• 標準的なキャリブレーション手法として、温度スケーリングとモンテカルロドロップアウト（MCD）を適用してモデルのキャリブレーションを改善する。
• バランス精度とECEを用いてモデルの性能とキャリブレーション品質を評価し、ECEは信頼度のビンごとに計算する。
• 交差エントロピー損失でモデルを学習し、ソフトマックス信頼度出力を真の予測頻度と比較して評価する。
• 複雑さやクラス分布の異なるデータセットにおいて、キャリブレート済みおよび未キャリブレートのモデルを比較する。
• 特に重要な意思決定における信頼性を強調するために、ECE≥50（高信頼度予測におけるキャリブレーション誤差を測定）を用いて結果を報告する。

実験結果

リサーチクエスチョン

• RQ1 最先端のGNNは、多様なグラフデータセットにおいて良好にキャリブレートされているか？
• RQ2 温度スケーリングやMCDといった既存のキャリブレーション手法が、GNNのキャリブレーションをどの程度改善するか？
• RQ3 グラフデータの非i.i.d.性質が、標準的なディープラーニングモデルと比較して、GNNにおけるキャリブレーションのずれを悪化させるか？
• RQ4 i.i.d.データを想定したキャリブレーション手法が、関係的GNNにおけるキャリブレーションのずれを効果的に是正できるか？
• RQ5 GNNにおけるキャリブレーションのずれは、現在のキャリブレーション手法では解消できない持続的問題であるか？

主な発見

• Cora-Fullデータセットでは、GINモデルが62.45%の精度を達成したが、ECE≥50が3.73に達し、信頼度のキャリブレーションが著しく悪いことが示された。
• PubMedでは、GINモデルが87.38%の精度を達成したが、ECE≥50が1.22に留まり、高い精度にもかかわらずキャリブレーションのずれが顕著に見られた。
• CiteSeerでは、GINモデルが69.49%の精度とECE≥50が7.33を示し、高信頼度予測における顕著なキャリブレーションのずれが明らかになった。
• 温度スケーリングやMCDを適用しても、Cora-Full や CiteSeer といった難易度の高いデータセットではGNNのキャリブレーションのずれが持続的であり、ECE≥50値が依然として高い（例：Cora-FullにおけるGIN-MCDでは18.83）ことが確認された。
• FacebookやAmazon-Phでは、GNNが高い精度（例：Amazon-Phでは94.24%）を示したが、ECE≥50はそれぞれ1.66および2.70であり、信頼度推定が信頼できないことを示した。
• これらの結果は、i.i.d.データを想定したキャリブレーション手法が、複雑で非i.i.d.なグラフ構造データにおけるGNNのキャリブレーションのずれを解消できないことを示している。