[논문 리뷰] Uncertainty Quantification over Graph with Conformalized Graph Neural Networks

Kexin Huang, Ying Jin외 2명|arXiv (Cornell University)|2023. 05. 23.

Advanced Graph Neural Networks인용 수 13

한 줄 요약

CF-GNN은 그래프-구조 데이터에 컨폼얼 예측(conformal prediction)을 확장하여 목표 커버리지와 주목할 만한 효율성 개선(최대 74%)을 보장하는 불확실성 집합을 제공한다.

ABSTRACT

Graph Neural Networks (GNNs) are powerful machine learning prediction models on graph-structured data. However, GNNs lack rigorous uncertainty estimates, limiting their reliable deployment in settings where the cost of errors is significant. We propose conformalized GNN (CF-GNN), extending conformal prediction (CP) to graph-based models for guaranteed uncertainty estimates. Given an entity in the graph, CF-GNN produces a prediction set/interval that provably contains the true label with pre-defined coverage probability (e.g. 90%). We establish a permutation invariance condition that enables the validity of CP on graph data and provide an exact characterization of the test-time coverage. Moreover, besides valid coverage, it is crucial to reduce the prediction set size/interval length for practical use. We observe a key connection between non-conformity scores and network structures, which motivates us to develop a topology-aware output correction model that learns to update the prediction and produces more efficient prediction sets/intervals. Extensive experiments show that CF-GNN achieves any pre-defined target marginal coverage while significantly reducing the prediction set/interval size by up to 74% over the baselines. It also empirically achieves satisfactory conditional coverage over various raw and network features.

연구 동기 및 목표

• 그래프 신경망(GNNs)의 엄밀한 불확실성 추정치의 부재를 해결한다.
• 전이(transductive) 그래프 설정에 컨폼얼 예측(CP)을 확장하여 보장된 커버리지를 얻는다.
• 그래프 교환성(graph exchangeability)과 순열 불변성(permutation invariance) 하에서 테스트 시 커버리지를 특성화한다.
• CP 비효율성을 감소시키기 위한 토폴로지 인지 보정(topology-aware correction)을 도입한다.
• 다양한 그래프 데이터셋에서 경험적 타당성과 효율성 향상을 입증한다.

제안 방법

• 보정 샘플과 테스트 샘플의 순서에 불변인 비적합도 점수 V를 사용하는 분할 컨폼얼 예측(split conformal prediction)을 사용한다(가정 1에 따라).
• 타당성 입증: 그래프 교환성 하에서 CP는 커버리지가 최소 1-α이 되도록 하고 테스트 시 커버리지를 정확히 특성화한다(정리 3).
• CF-GNN 도입: 이웃 정보를 활용하여 CP 비효율성을 줄이기 위해 기본 GNN 예측을 후처리하는 보정 GNN.
• 보정 GNN을 해석가능한 비효율성 손실(differentiable inefficiency loss)로 훈련시키고, CP 집합 크기/구간을 시뮬레이션하며, held-out 보정 분할을 사용한다.
• 두 가지 일반적인 비적합도 점수(분류용 Adaptive Prediction Set, CQR 회귀용)를 V의 예시로 제시한다.
• 기저 훈련 과정을 변경하지 않고도 모든 사전 학습된 GNN과의 호환성을 유지한다.

실험 결과

연구 질문

• RQ1 컨폼얼 예측이 그래프의 전이형 GNN에 대해 유효하고 목표 커버리지를 갖는 불확실성 집합을 제공할 수 있는가?
• RQ2 그래프 기반 데이터 분할과 순열 불변성 하에서 정확한 테스트 시 커버리지 분포는 무엇인가?
• RQ3 커버리지를 해치지 않으면서 그래프에서 CP의 비효율성(집합 크기 또는 구간 길이)을 어떻게 줄일 수 있는가?
• RQ4 이웃 정보를 집계하는 토폴로지 인지 보정이 다양한 데이터셋과 GNN 아키텍처에서 CP 효율성을 향상시키는가?
• RQ5 CF-GNN 예측이 네트워크 특성에 대해 만족스러운(근사) 조건부 커버리지를 유지하는가?

주요 결과

• CF-GNN은 기본 UQ 방법이 목표에 도달하지 못하는 데이터셋에서 목표 경험적 한계 커버리지를 달성하여 통계적 타당성을 입증한다.
• 예측 집합/구간 크기가 기본 GNN에 대한 직접 CP와 비교하여 상당히 감소했다(최대 74%).
• 이 방법은 순열 불변성과 그래프 교환성을 보존하여 유효한 커버리지 보장을 뒷받침한다.
• CF-GNN은 다양한 그래프 특징에 대해 만족스러운 조건부 커버리지를 보여줘 실용적 신뢰성을 나타낸다.
• 효율성 향상은 실험에서 사용된 기본 모델을 넘어서 여러 GNN 아키텍처에서도 일반화된다.