[논문 리뷰] Bayesian graph convolutional neural networks for semi-supervised classification

Yingxue Zhang, Soumyasundar Pal외 2명|arXiv (Cornell University)|2018. 11. 27.

Advanced Graph Neural Networks참고 문헌 2인용 수 23

한 줄 요약

이 논문은 그래프 구조를 불확실하게 간주하고, 이를 매개변수화된 랜덤 그래프(조화적 혼합 멤버십 스토케스틱 블록 모델)로 모델링함으로써 그래프 매개변수와 노드 레이블에 대한 동시 추론을 가능하게 하는 베이지안 그래프 컬러션 신경망(Bayesian GCNNs)을 제안한다. 이 방법은 적은 수의 레이블에서 일반화 성능을 향상시키고, 악성 엣지 변형에 대한 강건성을 높여, 공격 하에서 정확도와 마진 유지 측면에서 표준 GCNN보다 뛰어난 성능을 보인다.

ABSTRACT

Recently, techniques for applying convolutional neural networks to graph-structured data have emerged. Graph convolutional neural networks (GCNNs) have been used to address node and graph classification and matrix completion. Although the performance has been impressive, the current implementations have limited capability to incorporate uncertainty in the graph structure. Almost all GCNNs process a graph as though it is a ground-truth depiction of the relationship between nodes, but often the graphs employed in applications are themselves derived from noisy data or modelling assumptions. Spurious edges may be included; other edges may be missing between nodes that have very strong relationships. In this paper we adopt a Bayesian approach, viewing the observed graph as a realization from a parametric family of random graphs. We then target inference of the joint posterior of the random graph parameters and the node (or graph) labels. We present the Bayesian GCNN framework and develop an iterative learning procedure for the case of assortative mixed-membership stochastic block models. We present the results of experiments that demonstrate that the Bayesian formulation can provide better performance when there are very few labels available during the training process.

연구 동기 및 목표

• 표준 GCNN가 그래프 구조를 기저 사실로 간주하여 구조적 불확실성을 忽시하는 한계를 해결하기 위해.
• 노이즈가 있거나 완벽하지 않은 그래프 데이터로부터 그래프 매개변수와 노드 레이블을 동시에 추론할 수 있는 베이지안 프레임워크를 개발하기 위해.
• 소수의 레이블이 있는 상황에서 모델의 일반화 능력과 강건성을 향상시키기 위해.
• 베이지안 GCNN의 무작위 및 악성 엣지 변형에 대한 내성에 대해 평가하기 위해.

제안 방법

• 관측된 그래프를 특정한 매개변수화된 랜덤 그래프 가족, 즉 조화적 혼합 멤버십 스토케스틱 블록 모델의 실현으로 모델링한다.
• 근사 베이지안 추론을 사용하여 그래프 매개변수와 노드 레이블에 대한 동시 후행 분포 추론을 수행한다.
• 스토케스틱 최적화를 활용하여 그래프 매개변수의 최대 후행 추정치를 계산한다.
• 몬테카를로 드롭아웃을 사용하여 근사 변분 추론을 수행하고 베이지안 GCNN의 가중치를 샘플링한다.
• 반복 학습 절차를 적용하여 그래프 구조 매개변수와 신경망 가중치를 동시에 업데이트한다.
• 불확실한 그래프 상에서 메시지 전파를 통해 특징을 업데이트하는 방식으로 그래프 컬러션 연산을 베이지안 신경망 프레임워크 내에 통합한다.

실험 결과

연구 질문

• RQ1 소수의 레이블이 있는 상황에서 GCNN의 베이지안 공식화가 성능 향상에 기여할 수 있는가?
• RQ2 그래프 구조를 불확실하게 모델링할 경우, 무작위 또는 악성 엣지 변형에 대한 강건성이 어떻게 향상되는가?
• RQ3 표준 GCNN과 비교해 베이지안 GCNN은 그래프 구조 공격 상황에서 분류기 마진을 얼마나 잘 유지하는가?
• RQ4 그래프 매개변수와 노드 레이블의 동시 추론이 표준 GCNN보다 더 나은 일반화를 이끌 수 있는가?

주요 결과

• Cora 데이터셋에서, 베이지안 GCNN은 공격 없이 86.50%의 정확도를 유지했고, 무작위 엣지 공격 상황에서는 69.50%를 기록했으며, 표준 GCNN은 각각 85.55%와 55.50%를 기록했다.
• Citeseer 데이터셋에서, 베이지안 GCNN은 공격 없이 87.0%의 정확도를 기록했고, 무작위 공격 상황에서는 66.5%를 기록했으며, 표준 GCNN은 각각 88.5%와 43.0%를 기록했다.
• 베이지안 GCNN은 공격 하에서도 더 높은 평균 분류기 마진을 유지했다: Cora에서는 0.387, Citeseer에서는 0.335를 기록했고, 표준 GCNN은 각각 0.152와 0.014를 기록했다.
• 무작위 공격 이후 잘못 분류된 노드 수가 감소했다: GCNN의 거의 절반에 가까운 타겟 노드가 잘못 분류되었지만, 베이지안 GCNN은 훨씬 적은 변화를 보였다.
• 베이지안 GCNN은 공격 상황에서 Cora에서 17%의 정확도 감소, Citeseer에서는 20.5%의 감소를 보였고, 표준 GCNN은 각각 30%와 44.5%의 감소를 보였다.
• 이 방법은 레이블 부족 상황에서 일반화 능력 향상을 보였으며, 저자료 환경에서도 일관된 성능 향상이 관찰되었다.