[논문 리뷰] Bayesian Graph Convolutional Neural Networks using Node Copying

Soumyasundar Pal, Florence Regol외 1명|arXiv (Cornell University)|2019. 11. 08.

Advanced Graph Neural Networks참고 문헌 35인용 수 13

한 줄 요약

이 논문은 노드 복사 메커니즘을 사용하여 그래프를 생성하는 베이지안 그래프 컬러션 신경망(BGCN)을 제안한다. 이 방법은 구조 추론에 노드 특징과 학습 레이블을 통합하여, 특히 레이블이 제한된 경우에 더 나은 준지도 학습 노드 분류 성능을 달성한다. 관측된 구조와 노드 수준의 정보에 조건화된 그래프 구조 추론을 통해, Cora, Citeseer, Pubmed 데이터셋에서 기존의 BGCN 및 GCNN 기준선을 능가한다.

ABSTRACT

Graph convolutional neural networks (GCNN) have numerous applications in different graph based learning tasks. Although the techniques obtain impressive results, they often fall short in accounting for the uncertainty associated with the underlying graph structure. In the recently proposed Bayesian GCNN (BGCN) framework, this issue is tackled by viewing the observed graph as a sample from a parametric random graph model and targeting joint inference of the graph and the GCNN weights. In this paper, we introduce an alternative generative model for graphs based on copying nodes and incorporate it within the BGCN framework. Our approach has the benefit that it uses information provided by the node features and training labels in the graph topology inference. Experiments show that the proposed algorithm compares favorably to the state-of-the-art in benchmark node classification tasks.

연구 동기 및 목표

• 그래프 구조의 불확실성을 해결하기 위해 그래프를 생성 과정에서의 랜덤 샘플로 모델링한다.
• 노드 특징과 학습 레이블을 그래프 구조 추론에 통합하여 준지도 학습 노드 분류 성능을 향상시킨다.
• 새로운 노드를 생성하는 대신 기존 노드를 복사하는 생성 모델을 개발하여, 더 유연한 구조 학습을 가능하게 한다.
• 특히 레이블 데이터가 부족한 상황에서 기존의 베이지안 GCN 및 GCNN 방법을 능가하는 것을 목표로 한다.

제안 방법

• 기존 노드에서 복사된 노드를 사용해 새로운 간선을 형성하는 노드 복사 기반 생성 모델을 제안하며, 이는 구조적 및 특징 기반 관계를 유지한다.
• 노드 복사 과정을 베이지안 GCN 프레임워크에 통합하여 그래프 구조와 GCNN 가중치를 동시에 추론한다.
• 관측된 구조, 노드 특징, 학습 레이블에 조건화된 그래프의 사후 추론을 통해 불확실성 인식 학습을 가능하게 한다.
• 그래프와 모델 가중치의 결합 사후분포에 대한 근사 추론을 위해 몬테카를로 샘플링을 사용한다.
• 기본 분류기로 GCNN를 사용하며, 베이지안 프레임워크 덕분에 예측의 불확실성 정량화가 가능하다.
• 스케일링을 향상시키기 위해 제어 변수를 적용한 확률적 최적화를 적용한다.

실험 결과

연구 질문

• RQ1 노드 특징과 레이블이 가용할 때, 노드 복사 기반 생성 모델이 그래프 구조 추론을 향상시킬 수 있는가?
• RQ2 노드 특징과 레이블을 그래프 구조 학습에 통합하면 노드 분류 성능이 향상되는가?
• RQ3 제안된 BGCN은 레이블이 적은 환경에서 최신의 GCNN 및 베이지안 GCN 방법보다 우수한가?
• RQ4 노드 복사 메커니즘은 노이즈가 많거나 완전하지 않은 그래프에서 누락되거나 잘못된 간선을 수정할 수 있는가?

주요 결과

• 제안된 BGCN은 Cora, Citeseer, Pubmed 데이터셋에서 GCNN, ChebyNet, GAT 및 이전 BGCN보다 더 높은 분류 정확도를 달성한다.
• Cora에서 클래스당 5개의 레이블을 무작위 분할 조건에서, 이 방법은 73.8%의 정확도를 기록했으며, 이는 이전 BGCN(74.6%)과 GCNN(70.0%)를 모두 능가한다.
• Citeseer에서 클래스당 5개의 레이블을 사용할 경우, 제안된 방법은 63.9%의 정확도를 달성했으며, 이는 이전 BGCN(63.0%)과 GCNN(58.5%)를 초월한다.
• Pubmed에서 클래스당 5개의 레이블을 사용할 경우, 방법은 71.0%의 정확도를 기록했으며, 이는 이전 BGCN(70.2%)과 GCNN(69.7%)를 능가한다.
• 레이블이 제한된 경우 성능 향상이 가장 두드러진다: Cora에서 5개의 레이블을 사용할 경우, 제안된 방법은 GCNN보다 3.8%포인트 높은 성능을 기록한다.
• 낮은 차수를 가진 노드에서 GCNN보다 더 많은 오류를 수정함으로써, 그래프의 희소 영역에서 더 나은 일반화 능력을 보인다.