[논문 리뷰] Variational Inference for Graph Convolutional Networks in the Absence of Graph Data and Adversarial Settings

Pantelis Elinas, Edwin V. Bonilla외 1명|arXiv (Cornell University)|2019. 06. 05.

Advanced Graph Neural Networks참고 문헌 50인용 수 24

한 줄 요약

이 논문은 입력 그래프 데이터 없이도 작동하고 적대적 페르튜베이션에 강건한 그래프 컨volution 네트워크(GCN)를 위한 변분 추론 프레임워크를 제안한다. 사전 분포를 가진 잠재 변수로 인접 행렬을 모델링하고, 기울기 전파를 위해 콘크리트 리바이슬레이션을 사용함으로써, 모델은 그래프 구조와 GCN 파라미터를 동시에 추론한다. 이는 그래프가 존재하지 않거나 적대적 공격을 받는 상황에서도 최신의 베이지안 및 비베이지안 GNN보다 뛰어난 성능을 보인다.

ABSTRACT

We propose a framework that lifts the capabilities of graph convolutional networks (GCNs) to scenarios where no input graph is given and increases their robustness to adversarial attacks. We formulate a joint probabilistic model that considers a prior distribution over graphs along with a GCN-based likelihood and develop a stochastic variational inference algorithm to estimate the graph posterior and the GCN parameters jointly. To address the problem of propagating gradients through latent variables drawn from discrete distributions, we use their continuous relaxations known as Concrete distributions. We show that, on real datasets, our approach can outperform state-of-the-art Bayesian and non-Bayesian graph neural network algorithms on the task of semi-supervised classification in the absence of graph data and when the network structure is subjected to adversarial perturbations.

연구 동기 및 목표

• 신뢰할 수 있는 입력 그래프가 제공되지 않거나 그래프가 적대적으로 페르튜베이션된 경우 GCN의 한계를 해결하기 위해.
• 불확실성 하에서 그래프 구조와 GCN 파라미터를 동시에 추론하는 원리적인 확률적 프레임워크를 개발하기 위해.
• 예를 들어 간선 추가 또는 제거와 같은 적대적 간선 조작에 대해 GCN의 강건성을 향상시키기 위해.
• 그래프가 제공되지 않거나 신뢰할 수 없는 상황에서도 GCN의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 모델이 데이터만으로 의미 있는, 작업 최적화된 그래프 구조를 학습할 수 있음을 입증하기 위해.

제안 방법

• 노드 분류를 위한 GCN 기반 가능도와 인접 행렬에 대한 사전 분포를 가진 공동 확률 모델을 수립한다.
• 잠재 그래프 구조와 GCN 파라미터의 사후분포를 근사하기 위해 확률적 변분 추론을 적용한다.
• 기울기 전파를 가능하게 하기 위해 이산적 인접 행렬의 연속적 리바이슬레이션으로 콘크리트 분포를 사용한다.
• 콘크리트 분포에 재파rameterization 기법을 적용하여 확률적 그래프 샘플을 통해 기울기를 역전파한다.
• 그래프 복원과 분류 성능 간의 균형을 맞추기 위해 변분 하한(ELBO)을 도입한다.
• 확장성을 위해 그래프의 블록 대각 행렬 근사를 통해 전체 배치 및 미니배치 학습을 지원한다.

실험 결과

연구 질문

• RQ1 입력 그래프가 제공되지 않을 경우 GCN 기반 모델이 데이터로부터 효과적인 그래프 구조를 학습할 수 있는가?
• RQ2 간선 추가 또는 제거와 같은 적대적 간선 페르튜베이션 상황에서 제안된 변분 추론 프레임워크는 어떻게 성능을 보이는가?
• RQ3 모델이 그래프 구조를 추론할 수 있는 능력이 기존 모델 대비 반도급 분류 정확도 향상에 기여하는가?
• RQ4 학습 중에 허위 또는 적대적 간선의 영향을 모델이 억제할 수 있는가?
• RQ5 콘크리트 리바이슬레이션을 사용함으로써 이산적 그래프 구조 위에서 기울기 기반 최적화를 효과적으로 수행할 수 있는가?

주요 결과

• 제안된 VGNN(Variational GCN)는 입력 그래프가 없는 상황에서 최신의 베이지안 및 비베이지안 GNN보다 반도급 노드 분류 성능에서 뛰어나다.
• Cora 및 Citeseer 데이터셋에서, 50%의 간선이 적대적으로 추가된 상황에서도 VGNN은 GCN, GAT, RGCN를 모두 능가하는 높은 정확도를 유지한다.
• 간선 제거 공격 상황에서는 다른 방법들과 비교해 성능 저하가 작고 분산이 낮아, 특히 무작위 데이터 분할 상황에서 두드러진다.
• 모델은 추가된 간선의 영향을 성공적으로 억제하며, 후행 확률가 0.5를 초과하는 허위 간선이 몇 개에 불과하여 강건성을 보여준다.
• 블록 대각 행렬 근사를 통한 미니배치 학습은 PubMed과 같은 대규모 데이터셋에서도 학습이 가능하게 하며, 적대적 환경에서도 뛰어난 성능을 유지한다.
• 무작위 데이터 분할 실험을 통해 VGNN의 우월성이 일관되며 고정된 훈련/검증 분할에 기인한 결과가 아님을 확인한다.