[논문 리뷰] Uncertainty Aware Semi-Supervised Learning on Graph Data

Xujiang Zhao, Feng Chen외 2명|arXiv (Cornell University)|2020. 10. 24.

Advanced Graph Neural Networks참고 문헌 28인용 수 53

한 줄 요약

논문은 다원 소스 불확실성 프레임워크를 GNN에 도입하여 다항적 의견을 노드 수준 디리클레 분포로 모델링하고, GKDE를 통한 불확실성 추정 개선과 교사 네트워크를 활용한 준지도 노드 분류 및 OOD 탐지를 강화한다.

ABSTRACT

Thanks to graph neural networks (GNNs), semi-supervised node classification has shown the state-of-the-art performance in graph data. However, GNNs have not considered different types of uncertainties associated with class probabilities to minimize risk of increasing misclassification under uncertainty in real life. In this work, we propose a multi-source uncertainty framework using a GNN that reflects various types of predictive uncertainties in both deep learning and belief/evidence theory domains for node classification predictions. By collecting evidence from the given labels of training nodes, the Graph-based Kernel Dirichlet distribution Estimation (GKDE) method is designed for accurately predicting node-level Dirichlet distributions and detecting out-of-distribution (OOD) nodes. We validated the outperformance of our proposed model compared to the state-of-the-art counterparts in terms of misclassification detection and OOD detection based on six real network datasets. We found that dissonance-based detection yielded the best results on misclassification detection while vacuity-based detection was the best for OOD detection. To clarify the reasons behind the results, we provided the theoretical proof that explains the relationships between different types of uncertainties considered in this work.

연구 동기 및 목표

• 실세계의 불확실성 하에서 오분류 위험을 줄이기 위해 그래프 기반의 준지도 학습에 여러 유형의 불확실성을 도입하도록 동기를 부여한다.
• 노드 수준에서 다양한 예측 불확실성을 추정하기 위해 딥러닝과 신념/증거 이론을 결합한 프레임워크를 개발한다.
• 그래프 데이터에서 오분류 및 OOD 노드의 정확한 탐지를 가능하게 한다.
• 그래프 기반 예측에서 서로 다른 불확실성 유형 간의 관계에 대한 이론적 통찰을 제공한다.

제안 방법

• 노드 예측을 노드별 매개변수 alpha_i = f_i(A, r; theta)인 디리클레 분포로 등가적으로 모델링된 다항적 의견으로 표현한다.
• 드롭아웃 기반 베이지안 추론을 통합하여 P(y|A, r; G)를 근사하고 모델 매개변수에 대한 분포를 학습하는 주관적 베이시안 GNN(S-BGNN)을 제안한다.
• 그래프 구조와 학습 레이블을 사용하여 노드의 사전 디리클레 매개변수를 추정하는 GKDE(Graph-based Kernel Dirichlet distribution Estimation)를 도입하여 불확실성 추정을 유도한다.
• 교사 네트워크를 순차적 지식 증류를 통해 도입하여 노드 확률 출력의 정규화와 정제를 수행하고 디리클레 분포와 교사 예측 간의 KL 발산을 최소화한다.
• 불확실성을 제어하면서 편향을 줄이고 제곱 오차와 분산을 결합한 손실 함수를 제시한다.
• 공허성(vacuity), 불협성(dissonance), 엔트로피 등 이론적 결과를 활용하여 각 불확실성 유형이 OOD 대 오분류 탐지에 언제 정보를 제공하는지 해석한다.

실험 결과

연구 질문

• RQ1 RQ1: 그래프에서의 준지도 노드 분류에서 어느 유형의 예측 불확실성이 오분류를 가장 효과적으로 신호하는가?
• RQ2 RQ2: 그래프 데이터에서 어떤 불확실성 유형이 OOD 노드를 가장 잘 나타내는가?
• RQ3 RQ3: GKDE가 노드 수준의 디리클레 분포 추정 및 불확실성 인식 예측을 개선할 수 있는가?
• RQ4 RQ4: 교사 네트워크와 GKDE의 도입이 분류 정확도와 불확실성 추정에 실질적인 개선을 가져오는가?

주요 결과

• 불협성(dissonance) 기반 탐지가 평가된 불확실성 유형들 중에서 오분류를 가장 효과적으로 식별한다.
• 공허성(vacuity) 기반 탐지는 OOD 노드를 탐지하는 가장 강력한 신호를 제공한다.
• GKDE는 노드 수준의 디리클레 분포의 품질을 향상시키고 OOD 탐지 성능을 향상시킨다.
• 교사 네트워크는 제안 프레임워크에서 노드 분류 정확도와 불확실성 추정을 추가로 향상시킨다.