[논문 리뷰] Graph Convolutional Networks against Degree-Related Biases.

Xianfeng Tang, Huaxiu Yao외 6명|arXiv (Cornell University)|2020. 06. 28.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 고도수 노드에 대한 정확도 편향을 줄이기 위해 도수 인식 메시지 전파와 불확실성 인식 허위 레이블링을 도입한 자기지도 학습, 도수별 특화 그래프 컨볼루션 네트워크인 SL-DSGCN을 제안한다. 이는 벤치마크 데이터셋에서 저도수 노드의 성능을 크게 향상시켜 최신의 자기학습 및 자기지도 학습 GCN 방법들을 능가한다.

ABSTRACT

In recent years, Graph Convolutional Networks (GCNs) show competitive performance in different domains, such as social network analysis, recommendation, and smart city. However, training GCNs with insufficient supervision is very difficult. The performance of GCNs becomes unsatisfying with few labeled data. Although some pioneering work try to understand why GCNs work or fail, their analysis focus more on the entire model level. Profiling GCNs on different nodes is still underexplored. To address the limitations, we study GCNs with respect to the node degree distribution. We show that GCNs have a higher accuracy on nodes with larger degrees even if they are underrepresented in most graphs, with both empirical observation and theoretical proof. We then propose Self-Supervised-Learning Degree-Specific GCN (SL-DSGCN) which handles the degree-related biases of GCNs from model and data aspects. Firstly, we design a degree-specific GCN layer that models both discrepancies and similarities of nodes with different degrees, and reduces the inner model-aspect biases of GCNs caused by sharing the same parameters with all nodes. Secondly, we develop a self-supervised-learning algorithm that assigns pseudo labels with uncertainty scores on unlabeled nodes using a Bayesian neural network. Pseudo labels increase the chance of connecting to labeled neighbors for low-degree nodes, thus reducing the biases of GCNs from the data perspective. We further exploit uncertainty scores as dynamic weights on pseudo labels in the stochastic gradient descent for SL-DSGCN. We validate \ours on three benchmark datasets, and confirm SL-DSGCN not only outperforms state-of-the-art self-training/self-supervised-learning GCN methods, but also improves GCN accuracy dramatically for low-degree nodes.

연구 동기 및 목표

• 실세계 그래프에서의 낮은 빈도에도 불구하고 GCN이 저도수 노드에서 성능이 열등한 이유를 해결한다.
• GCN이 고도수 노드에서 더 높은 정확도를 보이는 이유를 노드 도수 분포와 연관지어 분석한다.
• 도수별 아키텍처와 자기지도 학습을 통해 데이터 수준 및 모델 수준의 편향을 줄이는 모델을 개발한다.
• 불확실성 인식 허위 레이블링과 동적 가중치를 활용해 다양한 도수를 가진 노드 간의 일반화 및 공정성 향상을 도모한다.

제안 방법

• 다른 도수를 가진 노드에 대해 별개의 메시지 전파 메커니즘을 학습하는 도수별 특화 GCN 레이어를 설계하여, 파라미터 공유 편향을 줄인다.
• 불확실성 점수를 갖는 허위 레이블을 생성하기 위해 베이지안 신경망을 도입하여, 레이블이 부여된 이웃 노드와의 연결성을 향상시킨다.
• 불확실성 점수를 동적 가중치로 활용하여 확률적 경사 하강법에서 신뢰할 수 있는 허위 레이블을 우선순위로 지정한다.
• 자기지도 학습을 적용하여 레이블이 없는 노드에 허위 레이블을 할당함으로써 효과적 인과성 감소와 데이터 수준 편향 감소를 달성한다.
• 도수별 특화 레이어와 불확실성 가중 허위 레이블링을 조합하여 GCN의 모델 수준 및 데이터 수준 편향을 동시에 해결한다.
• 레이블이 있는 데이터와 불확실성 가중 허위 레이블 데이터를 모두 포함하는 손실 함수를 사용해 SL-DSGCN를 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 대부분의 그래프에서 낮은 빈도를 보이는 데도 불구하고 GCN이 고도수 노드에서 더 높은 정확도를 보이는 이유는 무엇인가?
• RQ2 도수별 메시지 전파 방식은 GCN의 모델 수준 편향을 어느 정도 줄일 수 있는가?
• RQ3 불확실성 인식 허위 레이블링은 저도수 노드의 성능 향상에 어떻게 기여하는가?
• RQ4 도수별 아키텍처와 동적 가중치를 갖는 자기지도 학습을 조합하면 기존의 자기학습 및 자기지도 학습 GCN 방법들을 능가할 수 있는가?
• RQ5 SL-DSGCN는 다양한 도수를 가진 노드 간의 공정성과 일반화 능력을 어떻게 향상시키는가?

주요 결과

• GCN은 저도수 노드가 그래프에서 희귀함에도 불구하고 고도수 노드에서 훨씬 더 높은 정확도를 보인다.
• 제안된 SL-DSGCN 모델은 세 가지 벤치마크 데이터셋에서 평균적으로 저도수 노드의 정확도를 최대 15% 향상시킨다.
• 도수별 GCN 레이어는 각 도수 그룹에 대해 별도의 파라미터화를 허용함으로써 모델 수준 편향을 줄이며, 희귀하지만 중요한 저도수 노드의 성능을 향상시킨다.
• 불확실성 인식 허위 레이블링은 메시지 전파 과정에서 레이블이 있는 이웃 노드와의 연결성을 향상시켜 저도수 노드의 효과적 인과성을 증가시킨다.
• 불확실성 점수를 기반으로 한 동적 가중치는 특히 저도수 노드 예측의 수렴성을 향상시켜 더 안정적이고 정확한 훈련을 가능하게 한다.
• SL-DSGCN는 학술 논문 및 소셜 네트워크 벤치마크에서 전체 정확도와 저도수 노드 성능 모두에서 최신 자기학습 및 자기지도 학습 GCN 방법들을 능가한다.