[논문 리뷰] Are Graph Neural Networks Miscalibrated?

Leonardo Vilela Teixeira, Brian Jalaian외 1명|arXiv (Cornell University)|2019. 05. 07.

Advanced Graph Neural Networks참고 문헌 44인용 수 7

한 줄 요약

이 논문은 여러 기준 데이터셋에서 그래프 신경망(GNNs)의 校정성(calibration)을 조사하며, 일부 GNNs는 잘 校정되어 있지만, 많은 GNNs는 특히 어려운 작업에서는 심각하게 校정되지 않음을 발견한다. 온전한 校정 기법인 온도 스케일링과 몬테카를로 드롭아웃을 적용함에도 불구하고 모델의 校정성은 여전히 열악하며, 이는 기존 기법들이 GNNs의 관계적이고 i.i.d.가 아닌 데이터 구조로 인한 근본적인 校정 오차를 해결하지 못함을 시사한다.

ABSTRACT

Graph Neural Networks (GNNs) have proven to be successful in many classification tasks, outperforming previous state-of-the-art methods in terms of accuracy. However, accuracy alone is not enough for high-stakes decision making. Decision makers want to know the likelihood that a specific GNN prediction is correct. For this purpose, obtaining calibrated models is essential. In this work, we perform an empirical evaluation of the calibration of state-of-the-art GNNs on multiple datasets. Our experiments show that GNNs can be calibrated in some datasets but also badly miscalibrated in others, and that state-of-the-art calibration methods are helpful but do not fix the problem.

연구 동기 및 목표

• 표준 그래프 기준 데이터셋에서 최신 GNNs의 校정 성능을 평가하기 위해.
• 원래 i.i.d. 데이터를 위해 설계된 기존 校정 기법이 관계적(non-i.i.d.) 데이터를 학습하는 GNNs에서의 校정 오차를 효과적으로 수정하는지 평가하기 위해.
• GNNs에서의 校정 오차가 현재의 校정 기법으로는 해결되지 않는 체계적인 문제인지 판단하기 위해.
• 고위험 의사결정에서 GNN 예측의 소프트맥스 신뢰도 점수의 신뢰성에 대한 실증적 증거를 제공하기 위해.

제안 방법

• 다양한 데이터셋에서 기대 校정 오차(Expected Calibration Error, ECE)를 사용하여 GNNs(GCN, GAT, GIN)의 校정성에 대한 실증적 평가를 수행한다.
• 표준 校정 기법인 온도 스케일링과 몬테카를로 드롭아웃(Monte Carlo dropout, MCD)을 적용하여 모델의 校정성을 향상시킨다.
• 모델 성능과 校정 품질 평가를 위해 균형 잡힌 정확도와 ECE 지표를 사용하며, ECE는 신뢰도 구간 기반으로 계산된다.
• 모델을 교차 엔트로피 손실로 훈련하고, 소프트맥스 신뢰도 출력을 진짜 예측 빈도와 대조하여 평가한다.
• 복잡도와 클래스 분포가 다른 데이터셋에서 校정된 모델과 校정되지 않은 모델을 비교한다.
• 결과 보고 시 고신뢰도 예측에서의 校정 오차를 측정하는 ECE≥50를 사용하여 중요 의사결정에서의 신뢰성에 초점을 맞춘다.

실험 결과

연구 질문

• RQ1 최신 GNNs는 다양한 그래프 데이터셋에서 잘 校정되어 있는가?
• RQ2 온도 스케일링과 MCD와 같은 기존 校정 기법이 GNN의 校정성을 어느 정도 향상시키는가?
• RQ3 그래프 데이터의 i.i.d.가 아닌 특성은 기존 딥러닝 모델에 비해 GNNs의 校정 오차를 악화시키는가?
• RQ4 i.i.d. 데이터를 위해 설계된 校정 기법이 관계적 GNNs에서의 校정 오차를 효과적으로 수정할 수 있는가?
• RQ5 GNNs의 校정 오차는 현재의 校정 기법으로는 해결되지 않는 지속적인 문제인가?

주요 결과

• Cora-Full 데이터셋에서 GIN 모델은 62.45%의 정확도를 달성하지만, ECE≥50가 3.73로 높아 신뢰도의 校정이 열악함을 시사한다.
• PubMed에서 GIN 모델은 87.38%의 정확도를 달성하지만, ECE≥50가 1.22로 높아 정확도는 높지만 여전히 校정 오차가 있음을 나타낸다.
• CiteSeer에서 GIN 모델은 69.49%의 정확도와 ECE≥50가 7.33로, 고신뢰도 예측에서 심각한 校정 오차가 있음을 드러낸다.
• 온도 스케일링과 MCD를 적용한 후에도 Cora-Full과 CiteSeer와 같은 어려운 데이터셋에서 GNNs는 지속적인 校정 오차를 보이며, ECE≥50 값이 여전히 높다(예: Cora-Full에서 GIN-MCD의 경우 18.83).
• Facebook와 Amazon-Ph에서 GNNs는 높은 정확도(예: Amazon-Ph에서 94.24%)를 보이지만, ECE≥50 값이 각각 1.66과 2.70로, 신뢰도 추정이 신뢰할 수 없음을 시사한다.
• 결과는 i.i.d. 데이터에 효과적인 校정 기법이 복잡하고 i.i.d.가 아닌 그래프 구조 데이터에서 GNNs의 校정 오차를 해결하지 못함을 입증한다.