[논문 리뷰] Graph Posterior Network: Bayesian Predictive Uncertainty for Node Classification

Maximilian Stadler, Bertrand Charpentier외 3명|arXiv (Cornell University)|2021. 10. 26.

Bayesian Modeling and Causal Inference인용 수 24

한 줄 요약

이 논문은 동일한 특성과 구조를 가진 그래프에서 상호의존적인 노드 간의 예측 불확실성을 명시적으로 측정하는 베이지안 모델인 그래프 사후망(GPN)을 제안한다. GPN은 그래프 내부의 상호의존성에 기반해 사후 분포를 업데이트하며, 동질성 특성을 가진 특성 부여 그래프에서 예측 불확실성에 대한 세 가지 공리(axiom)를 만족한다. 또한 앙상블 또는 드롭아웃 없이도 효율적인 추론을 유지하면서, 분포 외 탐지 및 분포 이탈에 대한 강건성에서 강력한 기준 모델들을 능가한다.

ABSTRACT

The interdependence between nodes in graphs is key to improve class predictions on nodes and utilized in approaches like Label Propagation (LP) or in Graph Neural Networks (GNN). Nonetheless, uncertainty estimation for non-independent node-level predictions is under-explored. In this work, we explore uncertainty quantification for node classification in three ways: (1) We derive three axioms explicitly characterizing the expected predictive uncertainty behavior in homophilic attributed graphs. (2) We propose a new model Graph Posterior Network (GPN) which explicitly performs Bayesian posterior updates for predictions on interdependent nodes. GPN provably obeys the proposed axioms. (3) We extensively evaluate GPN and a strong set of baselines on semi-supervised node classification including detection of anomalous features, and detection of left-out classes. GPN outperforms existing approaches for uncertainty estimation in the experiments.

연구 동기 및 목표

• 노드 예측이 이웃 구조로 인해 상호의존적인 그래프에서 노드 분류에 대한 엄밀한 불확실성 측정의 부족을 해결하기 위해.
• 동질성 특성을 가진 특성 부여 그래프에서 네트워크 효과 유무에 따라 애로타이픽 불확실성과 엔도스피크 불확실성을 구분하는 세 가지 공리를 통해 합리적인 불확실성 행동을 형식화하기 위해.
• 상호의존적인 노드에 대해 베이지안 사후 분포 업데이트를 수행하고 제안된 공리를 엄밀히 만족하는 확장 가능하고 효율적인 모델인 GPN을 개발하기 위해.
• 실제 분포 이질성에 대응하는 시나리오를 시뮬레이션하기 위해, OOD 탐지 및 특성/구조 이질성에 대한 강건성 평가를 통해 불확실성 추정 품질을 평가하기 위해.
• 다양한 그래프 벤치마크에서 최첨단 기법들과 비교해 GPN이 더 나은 불확실성 캘리브레이션과 탐지 성능을 달성함을 보여주기 위해.

제안 방법

• 동질성 특성을 가진 특성 부여 그래프에서 기대되는 불확실성 행동을 형식화하기 위해 세 가지 공리를 도출한다. 이는 네트워크 효과 유무에 따라 불확실성을 구분한다.
• GPN은 클래스 확률에 대한 딜레르트 분포를 사용하여 예측을 모델링하며, 농도 매개변수를 통해 엔도스피크 불확실성 추정을 가능하게 한다.
• 이웃 집합을 통한 불확실성 전파를 통해 그래프를 통해 사후 분포를 업데이트하며, 그래프의 동질성 특성을 활용해 예측을 정교화한다.
• 진짜 사후분포를 근사하기 위해 변분 추론 기법을 사용하여, 여러 번의 순방향 전파나 앙상블이 필요 없도록 한다.
• 노드 특성과 이웃 구조를 모두 통합하여 예측 분포를 업데이트함으로써, 지역적 데이터 품질과 관계적 맥락을 모두 반영한 불확실성 추정을 보장한다.
• 기존의 GKDE-GCN이나 앙상블 기반 방법과 달리, 비용이 많이 드는 커널 계산이나 모델 앙상블을 피함으로써 효율적인 추론을 지원한다.

실험 결과

연구 질문

• RQ1 특성 부여 그래프에서 상호의존적인 노드에 대해 예측 불확실성을 공식적으로 정의하고 공리화할 수 있는가?
• RQ2 네트워크 효과를 고려해 노드 간에 사후 분포를 명시적으로 업데이트할 수 있는 베이지안 모델을 설계할 수 있는가? 이때 제안된 공리적 불확실성 행동을 만족해야 한다.
• RQ3 GPN의 불확실성 추정 성능는 기존 방법들과 비교해 분포 외 노드 탐지 및 분포 이질성 처리에서 어떻게 다른가?
• RQ4 앙상블, 드롭아웃, 커널 기반 불확실성 추정 방법들과 비교해 GPN의 계산 효율성은 어떠한가?
• RQ5 네트워크 효과를 통합함으로써 노드 분류 작업에서 불확실성 캘리브레이션과 강건성이 향상되는가?

주요 결과

• GPN은 모든 데이터셋에서 기준 모델들보다 분포 외(OOD) 탐지에서 뛰어난 성능을 보이며, 더 나은 불확실성 캘리브레이션을 확보한다.
• OGBN-Arxiv 데이터셋에서 GPN은 추론 시간 275.69ms를 기록했으며, 앙상블 방법(548.27ms)보다 빠르고 다른 효율적인 모델들과 경쟁 가능하다.
• 학습 효율성 측면에서, CoraML에서 GPN은 단 10.20초가 소요되었으며, VGCN(47.28s)과 GKDE-GCN(46.48s)보다 빠르고, 앙상블 학습(472.82s)보다 훨씬 효율적이다.
• Coauthor CS 데이터셋에서 GPN은 모든 방법들 중에서 가장 빠른 학습 시간(32.80s)을 기록했으며, VGCN과 GKDE-GCN를 모두 능가했다.
• GPN은 특성 및 구조 이질성에 대해 강력한 강건성을 보이며, PubMed와 Amazon 제품 벤치마크를 포함한 여러 벤치마크에서 일관된 불확실성 추정 성능를 유지한다.
• 모델의 불확실성 추정은 잘 캘리브레이션되어 있으며, 이웃 노드가 불확실할수록 엔도스피크 불확실성이 적절히 증가하고, 이웃이 확신할 때는 감소한다. 이는 공리적 설계의 타당성을 검증한다.