[논문 리뷰] What Makes Graph Neural Networks Miscalibrated?

Hans Hao-Hsun Hsu, Yuesong Shen외 2명|arXiv (Cornell University)|2022. 10. 12.

Advanced Graph Neural Networks인용 수 10

한 줄 요약

이 논문은 그래프 신경망(GNN)의 校정에 影響을 미치는 다섯 가지 핵심 요인을 규명한다: 과소신뢰, 예측 다양성, 학습 노드까지의 거리, 상대적 신뢰 수준, 이웃 유사성. 이를 해결하기 위해 저자들은 그래프 구조를 고려한 노드별 온도 스케일링을 가능하게 하는 데이터 효율적이고 정확도를 유지하는 방법인 그래프 어텐션 온도 스케일링(GATS)을 제안한다. 이는 정렬된 로짓에 대한 어텐션 메커니즘을 통해 노드별 온도 스케일링 계수를 학습하며, 다양한 GNN 백본과 데이터셋에서 최고 수준의 校정 성능을 달성한다.

ABSTRACT

Given the importance of getting calibrated predictions and reliable uncertainty estimations, various post-hoc calibration methods have been developed for neural networks on standard multi-class classification tasks. However, these methods are not well suited for calibrating graph neural networks (GNNs), which presents unique challenges such as accounting for the graph structure and the graph-induced correlations between the nodes. In this work, we conduct a systematic study on the calibration qualities of GNN node predictions. In particular, we identify five factors which influence the calibration of GNNs: general under-confident tendency, diversity of nodewise predictive distributions, distance to training nodes, relative confidence level, and neighborhood similarity. Furthermore, based on the insights from this study, we design a novel calibration method named Graph Attention Temperature Scaling (GATS), which is tailored for calibrating graph neural networks. GATS incorporates designs that address all the identified influential factors and produces nodewise temperature scaling using an attention-based architecture. GATS is accuracy-preserving, data-efficient, and expressive at the same time. Our experiments empirically verify the effectiveness of GATS, demonstrating that it can consistently achieve state-of-the-art calibration results on various graph datasets for different GNN backbones.

연구 동기 및 목표

• 노드 분류 작업에서 GNN이 왜 校정이 어긋나는 예측을 생성하는지 이해하기 위해.
• GNN의 校정 품질에 영향을 미치는 구조적 요인과 예측적 요인을 규명하기 위해.
• 그래프 구조와 노드 상관관계를 고려한 GNN에 특화된 校정 방법을 개발하기 위해.
• 校정 방법이 모델 정확도를 유지하고 데이터 효율적이도록 보장하기 위해.
• 다양한 그래프 데이터셋과 GNN 아키텍처에서 제안된 방법을 경험적으로 검증하기 위해.

제안 방법

• 저자들은 GNN의 校정에 영향을 미치는 다섯 가지 영향력 있는 요인을 규명하기 위해 체계적인 연구를 수행한다: 일반적인 과소신뢰, 노드별 예측 분포의 다양성, 학습 노드까지의 거리, 상대적 신뢰 수준, 이웃 유사성.
• 그들은 그래프 어텐션 온도 스케일링(GATS)을 제안한다. 이는 정렬된 로짓에 대한 어텐션 메커니즘을 통해 노드별 온도 스케일링 계수를 학습한다.
• GATS는 다중 헤드 어텐션 메커니즘을 사용하여 상위-k 로짓으로부터 정보를 집계함으로써 표현력 있고 그래프 인식 기반의 온도 적응을 가능하게 한다.
• 이 방법은 사전 학습 후 적용되며 원본 모델의 예측 순서를 유지하므로 정확도가 손상되지 않는다.
• 어텐션 메커니즘은 로짓 값의 상대적 크기와 국소적 그래프 맥락에 따라 서로 다른 로짓 값의 중요도를 동적으로 가중한다.
• GATS는 검증 세트를 사용해 훈련되며, GNN 백본의 재학습이 필요하지 않다.

실험 결과

연구 질문

• RQ1 노드 분류 작업에서 그래프 신경망의 校정이 어긋나는 데 기여하는 요인은 무엇인가?
• RQ2 학습 노드까지의 거리나 이웃 유사성과 같은 그래프의 구조적 특성이 예측의 신뢰도에 어떻게 영향을 미치는가?
• RQ3 예측의 상대적 신뢰 수준이 국소적 그래프 특성과 얼마나 관련이 있는가?
• RQ4 그래프 인식 기반의 노드별 온도 스케일링 방법은 정확도를 유지하면서 校정을 향상시킬 수 있는가?
• RQ5 기존의 후처리 校정 방법과 비교해 GATS는 校정 성능, 데이터 효율성, 표현력 측면에서 어떻게 다른가?

주요 결과

• GNN은 학습 노드에서 멀리 떨어진 영역에서 특히 과소신뢰 경향을 보이며, 이는 표준 신경망에서는 관찰되지 않는다.
• 노드별 예측 분포의 다양성은 校정에 영향을 미치는 중요한 요인으로, 높은 다양성이 낮은 校정을 초래한다.
• 학습 노드에서 멀리 떨어진 노드일수록 특히 저데이터 환경에서 더 나쁜 校정을 보인다.
• 이웃 유사성(동질성)은 상대적 신뢰 수준과 부분적으로 상관관계가 있으며, 특히 음성 동질성 영역에서 두드러진다.
• GATS는 Cora, Citeseer, PubMed, CoraFull 등의 다양한 데이터셋과 GCN, GAT 등의 GNN 백본에서 최고 수준의 校정 성능을 달성한다.
• GATS는 데이터 효율적이며 원본 모델의 정확도를 유지하면서 신뢰도 다이어그램과 기대 校정 오차(ECE)를 크게 향상시킨다.