[논문 리뷰] Be Confident! Towards Trustworthy Graph Neural Networks via Confidence Calibration

Xiao Wang, Hongrui Liu외 2명|arXiv (Cornell University)|2021. 09. 29.

Advanced Graph Neural Networks참고 문헌 39인용 수 36

한 줄 요약

본 논문은 GNN이 일반적으로 신뢰도가 낮게 예측하는 경향이 있음을 보이고, 위상 인식형 후처리 보정 모델인 CaGCN과 보정된 자체 학습을 위한 CaGCN-st를 도입하여 보정성과 정확도 모두를 향상시킨다.

ABSTRACT

Despite Graph Neural Networks (GNNs) have achieved remarkable accuracy, whether the results are trustworthy is still unexplored. Previous studies suggest that many modern neural networks are over-confident on the predictions, however, surprisingly, we discover that GNNs are primarily in the opposite direction, i.e., GNNs are under-confident. Therefore, the confidence calibration for GNNs is highly desired. In this paper, we propose a novel trustworthy GNN model by designing a topology-aware post-hoc calibration function. Specifically, we first verify that the confidence distribution in a graph has homophily property, and this finding inspires us to design a calibration GNN model (CaGCN) to learn the calibration function. CaGCN is able to obtain a unique transformation from logits of GNNs to the calibrated confidence for each node, meanwhile, such transformation is able to preserve the order between classes, satisfying the accuracy-preserving property. Moreover, we apply the calibration GNN to self-training framework, showing that more trustworthy pseudo labels can be obtained with the calibrated confidence and further improve the performance. Extensive experiments demonstrate the effectiveness of our proposed model in terms of both calibration and accuracy.

연구 동기 및 목표

• Semi-supervised 노드 분류에서 GNN이 충분히 보정되어 있는지 식별한다.
• 기존 GNN에서의 과소신뢰와 이는 신뢰 가능한 예측에 대한 함의를 시연한다.
• GCN을 위한 위상 인식형의 비선형 보정 함수인 CaGCN을 제안한다(정확도 보존).
• 보정된 신뢰도가 GNN의 자체 학습 성능을 향상시킴을 보여준다.
• 표준 데이터셋에서 보정 지표와 예측 정확도에서 실증적 향상을 보인다.

제안 방법

• Cora, Citeseer, Pubmed, CoraFull에서 신뢰도 도표(relability diagrams)와 신뢰도 분포를 사용하여 GCN과 GAT가 과소신 confidence를 보인다는 것을 시연한다.
• 로그 Softmax가 아닌 CaGCN은 분류 GCN의 로짓을 받아 그래프 토폴로지에 따라 보정된 신뢰도를 노드 단위의 확률로 전파하여 보정된 확률을 산출한다.
• 정확도 보존을 보장하기 위해 노드 단위 온도 학습을 통해 온도 조정과 같은 메커니즘(비가역성 불가)을 설계하고, 클래스 순서를 유지하며, 동등성(isotonicity) 고려에 대한 증명을 제공한다.
• 음의 로그우도(NLL)와 신뢰도-보정 규제기를 결합한 최적화를 형식화하여 올바른 예측에 대해 더 높은 신뢰를, 잘못된 예측에 대해 더 낮은 신뢰를 유도한다.
• CaGCN을 CaGCN-st로 확장하여 보정된 신뢰도가 의사레이블을 생성하는 자기 학습 프레임워크를 구현하고, 단계적 재학습 및 성능 향상을 가능하게 한다.

실험 결과

연구 질문

• RQ1 반지도, GCN, GAT 등 일반적인 GNN의 반지도에서 준수된 보정 상태는 어떠한가?
• RQ2 토폴로지 의존 보정이 정확도를 손상시키지 않으면서 신뢰도 추정치를 향상시킬 수 있는가?
• RQ3 원래 분류기의 정확도를 보존하면서 보정을 개선하도록 보정 함수를 어떻게 설계할 수 있는가?
• RQ4 그래프 환경에서 비라벨 노드의 자기 학습에 보정된 신뢰도가 이익을 주는가?
• RQ5 CaGCN 및 CaGCN-st가 표준 데이터셋에서 보정 지표와 정확도에서 어떤 실증적 이득을 보여주는가?

주요 결과

• GNN(GCN, GAT)은 과소신뢰하는 경향이 있으며, 신뢰도 도표가 데이터셋 전반에 걸쳐 정확도가 신뢰도보다 높음을 보여준다.
• CaGCN은 보정을 개선하고(상대적으로 낮은 ECE) 분류 정확도를 보정하지 않은 모델, TS, MS 기준선에 비해 유지하거나 향상시킨다.
• CaGCN-st는 Cora, Citeseer, Pubmed, CoraFull에서 여러 레이블 비율에서 노드 분류 정확도 면에서 일관되게 기준선을 능가한다.
• CaGCN을 통한 신뢰도 보정은 전통적 자기 학습 방법보다 더 높은 정확도를 내는 효과적인 자기 학습을 가능하게 한다.
• 제안된 접근법은 토폴로지 인식적 신뢰도 매끄러움을 활용하여 정확도 보존 보정을 달성한다.