[논문 리뷰] Confidence-based Graph Convolutional Networks for Semi-Supervised Learning

Shikhar Vashishth, Prateek Yadav외 2명|arXiv (Cornell University)|2019. 01. 24.

Advanced Graph Neural Networks인용 수 23

한 줄 요약

이 논문은 그래프 컬러지션 네트워크(GCN)의 발전을 위해 ConfGCN를 제안한다. ConfGCN는 메시지 전파 과정에서 이웃의 영향력을 동적으로 가중하기 위해 예측의 신뢰도를 이용하여 노드 레이블 점수와 그에 따른 신뢰도를 동시에 예측한다. 이로 인해 이방향 집합(이심성 집합)이 가능해져 높은 신뢰도를 가진 이웃을 우선시하게 되며, 이는 특히 노이즈가 많거나 엔트로피가 높은 이웃 환경에서 기존 최고 성능(SOTA) 방법들을 능가하고, 깊은 아키텍처에서의 성능 저하를 완화한다.

ABSTRACT

Predicting properties of nodes in a graph is an important problem with applications in a variety of domains. Graph-based Semi-Supervised Learning (SSL) methods aim to address this problem by labeling a small subset of the nodes as seeds and then utilizing the graph structure to predict label scores for the rest of the nodes in the graph. Recently, Graph Convolutional Networks (GCNs) have achieved impressive performance on the graph-based SSL task. In addition to label scores, it is also desirable to have confidence scores associated with them. Unfortunately, confidence estimation in the context of GCN has not been previously explored. We fill this important gap in this paper and propose ConfGCN, which estimates labels scores along with their confidences jointly in GCN-based setting. ConfGCN uses these estimated confidences to determine the influence of one node on another during neighborhood aggregation, thereby acquiring anisotropic capabilities. Through extensive analysis and experiments on standard benchmarks, we find that ConfGCN is able to outperform state-of-the-art baselines. We have made ConfGCN's source code available to encourage reproducible research.

연구 동기 및 목표

• 반감성 학습에서 그래프 컬러지션 네트워크(GCN)의 신뢰도 추정 부족 문제를 해결하기 위해.
• 표준 GCN가 균일한 이웃 집합 방식으로 실패하는 이질적이고 노이즈가 많은 이웃 환경에서의 노드 분류 성능 향상을 위해.
• 신뢰도 점수를 이용해 그래프 컬러지션 과정에서 이방향 영향력 가중치를 부여하는 방법을 개발하기 위해.
• 신뢰도 기반 가중치가 고 엔트로피 또는 깊은 아키텍처 환경에서의 강건성 향상에 기여하는지 입증하기 위해.

제안 방법

• ConfGCN는 예측 손실과 신뢰도 정규화를 모두 포함하는 미분 가능한 목적 함수를 사용하여 노드 레이블 점수와 신뢰도 점수를 동시에 학습한다.
• 신뢰도 추정치를 이용해 집합 과정에서 이웃 노드의 영향력 또는 주의를 조절함으로써 이방향 메시지 전파를 가능하게 한다.
• 신뢰도 점수는 모델 자체의 예측에서 유도되며, backpropagation를 통해 종단 간 최적화된다.
• 이 방법은 이웃의 예측 레이블에 대한 신뢰도에 따라 그 영향력을 스케일링하는, 보다 신뢰도 기반 집합 메커니즘을 도입한다.
• 표현형 손실 함수를 사용하여 교차 엔트로피 손실을 레이블 예측에, 그리고 신뢰도 정규화 항을 추가하여 신뢰도 추정의 안정성을 확보한다.
• 표준 인용 네트워크(Cora, Citeseer, Cora-ML)에서 평가하여, Kipf-GCN 및 GAT보다 더 뛰어난 강건성과 성능을 보였다.

실험 결과

연구 질문

• RQ1 레이블 점수와 신뢰도 점수의 동시 추정이 그래프에서 반감성 학습 노드 분류의 일반화 성능 향상에 기여하는가?
• RQ2 신뢰도 기반 이웃 가중치는 고엔트로피 또는 노이즈가 많은 그래프 이웃 환경에서 성능에 어떤 영향을 미치는가?
• RQ3 신뢰도 인식 집합 메커니즘은 깊은 GCN 아키텍처에서의 성능 저하를 완화할 수 있는가?
• RQ4 신뢰도 추정은 노드 이웃의 레이블 불일치에 대해 얼마나 강건성을 향상시키는가?

주요 결과

• ConfGCN는 모든 데이터셋에서 Kipf-GCN 및 GAT를 능가하며, Cora-ML의 고도수 노드에서 GAT 및 Kipf-GCN보다 3% 향상된 성능을 기록했다.
• ConfGCN는 이웃 레이블 엔트로피의 모든 사분위수에서 뛰어난 성능을 보이며, 매우 이질적인 이웃 환경에서도 정확도를 유지한다.
• Kipf-GCN가 정확도가 급격히 감소하는 것과는 달리, GCN 깊이가 증가함에 따라 ConfGCN는 더 서서히 성능 저하를 보였다.
• 단절 분석 결과, 모든 손실 함수 구성 요소—신뢰도 정규화 및 레이블 예측 손실—이 성능 향상에 기여하며, 전체 목적 함수가 가장 우수한 성능을 냈다.
• 신뢰도 추정은 이방향 집합을 가능하게 하여, 그림 1에서 노드 $a$를 정확히 분류할 수 있도록 해주며, 높은 신뢰도를 가진 이웃 $b$와 $c$가 낮은 신뢰도를 가진 이웃 $d$, $e$, $f$보다 더 큰 영향력을 가지게 한다.
• Cora-ML 데이터셋에서 ConfGCN는 높은 레이블 불일치 비율로 인해 오류 전파 문제를 겪는 GPNN보다 더 뛰어난 성능을 기록했다.