[논문 리뷰] Bayesian Graph Convolutional Neural Networks Using Non-Parametric Graph Learning

Soumyasundar Pal, Florence Regol외 1명|arXiv (Cornell University)|2019. 10. 26.

Advanced Graph Neural Networks참고 문헌 33인용 수 9

한 줄 요약

이 논문은 비모수적 그래프 학습을 사용하여 그래프 구조의 불확실성을 추론하는 베이지안 그래프 컨volution 신경망(BGCN)을 제안한다. 노드 특징과 레이블을 사후 그래프 추론에 통합함으로써, 특히 레이블 데이터가 제한적인 경우에 최신 기술 대비 뛰어난 성능을 보이며, 더 견고한 그래프 구조를 학습함으로써 모델의 일반화 능력을 향상시킨다.

ABSTRACT

Graph convolutional neural networks (GCNN) have been successfully applied to many different graph based learning tasks including node and graph classification, matrix completion, and learning of node embeddings. Despite their impressive performance, the techniques have a limited capability to incorporate the uncertainty in the underlined graph structure. In order to address this issue, a Bayesian GCNN (BGCN) framework was recently proposed. In this framework, the observed graph is considered to be a random realization from a parametric random graph model and the joint Bayesian inference of the graph and GCNN weights is performed. In this paper, we propose a non-parametric generative model for graphs and incorporate it within the BGCN framework. In addition to the observed graph, our approach effectively uses the node features and training labels in the posterior inference of graphs and attains superior or comparable performance in benchmark node classification tasks.

연구 동기 및 목표

• 기존 GCNN 모델이 노이즈가 많거나 불완전한 관측 그래프에서 그래프 구조의 불확실성을 다루는 데에 한계가 있음을 해결하기 위해.
• 베이지안 GCN에서 사용하는 모수적 무작위 그래프 모델의 단점을 극복하기 위해, 특히 그래프 추론 과정에서 노드 특징과 레이블을 忽시하는 문제를 해결하기 위해.
• 관측된 그래프, 특징, 레이블을 바탕으로 그래프 구조, GCNN 가중치, 노드 표현을 동시에 추론하는 비모수적 접근법을 개발하기 위해.
• 최소한의 레이블 데이터로도 반감기 학습 노드 분류 작업의 성능을 향상시키기 위해, 사후 그래프 추론에서 더 풍부한 정보를 활용하기 위해.

제안 방법

• 특정 모수적 형태를 가정하지 않고 데이터 기반의 구조 학습이 가능한 비모수적 생성 모델을 사용하여 그래프 추론을 수행함으로써, 유연한 데이터 기반의 구조 학습이 가능하다.
• 노드 임베딩 유사도(Z₁)와 분류기 신뢰도(Z₂)의 두 구성요소를 통해 노드 특징과 훈련 레이블을 사후 그래프 분포에 통합한다.
• Z₁과 Z₂를 학습된 가중치 기반의 융합 방식으로 조합하여 하이브리드 그래프 사전분포 Z를 구성함으로써, 관측된 그래프를 초월한 그래프 구조 추론을 향상시킨다.
• GCNN 가중치에 대한 근사 베이지안 추론을 위해 몬테카를로 드롭아웃을 활용하여 예측의 불확실성 추정이 가능하도록 한다.
• 구조 일致성을 확보하기 위해 그래프 인접행렬의 MAP 추정치를 계산하기 위해 볼록 최적화 문제를 해결한다.
• 최종 모델을 추론된 그래프(Â_G) 기반으로 훈련하여 반감기 학습 노드 분류 작업을 수행함으로써, 더 높은 견고성을 확보한다.

실험 결과

연구 질문

• RQ1 노드 특징과 레이블을 통합한 비모수적 그래프 추론이 그래프 불확실성 하에서 GCNN의 견고성을 향상시키는가?
• RQ2 비모수적 사전분포를 사용한 그래프 구조와 GCNN 가중치의 동시 추론이 모수적 대안 대비 저레이블 환경에서 어떻게 성능을 냅니다?
• RQ3 레이블 정보와 특징 유사도를 그래프 사후 추론에 통합할 경우 과적합을 줄이고 노드 분류의 일반화 능력을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 방법이 제한된 훈련 레이블을 가진 반감기 학습 노드 분류 과제에서 기존의 베이지안 및 비베이지안 GCNN보다 우수한 성능을 내는가?

주요 결과

• Cora에서 클래스당 5개의 레이블을 사용할 경우, 제안된 BGCN은 76.0% ± 1.1의 정확도를 기록하여 이전 최신 기술인 BGCN(75.3% ± 0.8)과 GCNN(74.4% ± 0.8)을 모두 초월한다.
• Citeseer에서 클래스당 10개의 레이블을 사용할 경우, 제안된 방법은 71.7% ± 0.8의 정확도를 달성하여 이전 BGCN(70.8% ± 0.6)과 GCNN(65.8% ± 1.1)을 모두 뛰어넘는다.
• Pubmed 데이터셋에서 클래스당 20개의 레이블을 사용할 경우, 제안된 방법은 79.2% ± 0.5의 정확도를 기록하여 이전 BGCN(76.6% ± 0.7)과 GCNN(78.9% ± 0.3)을 모두 초월한다.
• 추론된 그래프(Â_G)는 관측된 그래프에 비해 같은 레이블을 가진 노드 간에 더 많은 연결을 보이며, 진정한 기반 관계와의 구조적 일치도 향상됨을 시사한다.
• 기본 GCNN 대비 낮은 차수를 가진 노드에서 더 많은 잘못 분류된 예측를 수정함으로써, 그래프의 희소 영역에서도 더 높은 견고성을 확보함을 보여준다.
• 시각화 결과는 MAP 추정된 그래프 구조가 레이블과 특징 정보를 추론에 통합함으로써, 특히 Cora와 Citeseer에서 클래스 간 군집을 더 잘 포착함을 확인한다.