[논문 리뷰] Variational Spectral Graph Convolutional Networks.

Louis C. Tiao, Pantelis Elinas외 2명|arXiv (Cornell University)|2019. 06. 05.

Adversarial Robustness in Machine Learning참고 문헌 1인용 수 9

한 줄 요약

이 논문은 입력 그래프가 없이도 데이터로부터 그래프 구조와 GCN 파라미터를 동시에 추론할 수 있는 변동형 스펙트럴 그래프 컨볼루션 네트워크를 제안한다. 이중화 잠재 그래프 샘플링을 위한 Concrete 리프레스를 사용함으로써, 그래프 무관 및 악성 설정 하에서 준지도 분류에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose a framework that lifts the capabilities of graph convolutional networks (GCNs) to scenarios where no input graph is given and increases their robustness to adversarial attacks. We formulate a joint probabilistic model that considers a prior distribution over graphs along with a GCN-based likelihood and develop a stochastic variational inference algorithm to estimate the graph posterior and the GCN parameters jointly. To address the problem of propagating gradients through latent variables drawn from discrete distributions, we use their continuous relaxations known as Concrete distributions. We show that, on real datasets, our approach can outperform state-of-the-art Bayesian and non-Bayesian graph neural network algorithms on the task of semi-supervised classification in the absence of graph data and when the network structure is subjected to adversarial perturbations.

연구 동기 및 목표

• 입력 그래프 구조가 없는 환경에서도 그래프 컨볼루션 네트워크가 효과적으로 작동할 수 있도록 하는 것.
• 그래프 구조에 대한 악성 변형에 대한 GCN의 강건성을 향상시키는 것.
• 변동형 추론을 통해 그래프와 GCN 파라미터를 동시에 추론하는 공동 확률 모델을 개발하는 것.
• 연속적 리파라미터라이제이션을 사용하여 이산 잠재 그래프 변수를 통해 기울기 전파를 수행할 수 있도록 엔드 투 엔드 학습을 가능하게 하는 것.

제안 방법

• 노드 분류를 위한 그래프에 대한 사전과 GCN 기반 가능도를 조합한 공동 확률 모델을 수립한다.
• 스토케스틱 변동형 추론을 사용하여 잠재 그래프의 사후분포를 근사하고 GCN 파라미터를 최적화한다.
• 이산 잠재 그래프 샘플을 통한 기울기 전파를 가능하게 하기 위해 Concrete 분포를 연속적 리파라미터라이제이션으로 사용한다.
• 그래프 라플라시안 기반 메시지 전파를 활용하기 위해 GCN 내부에서 스펙트럴 컨볼루션 연산을 적용한다.
• Concrete 리파라미터라이제이션에서 유도된 재파라미터라이제이션 기반 기울기를 사용하여 변동형 하한(ELBO)을 최적화한다.
• 엔드 투 엔드 기울기 전파가 가능한 방식으로 그래프 구조 탐색과 GCN 파라미터 학습을 공동으로 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 입력 그래프가 제공되지 않은 상황에서 데이터와 그래프에 대한 사전 정보만을 기반으로 GCN을 효과적으로 학습할 수 있는가?
• RQ2 기울기 기반 최적화를 이산 잠재 그래프 변수에 적용할 수 있는가? 이는 기울기 전파 가능한 프레임워크 내에서 가능할까?
• RQ3 기존 방법에 비해 제안된 방법이 악성 그래프 변형에 대해 얼마나 향상된 강건성을 보이는가?
• RQ4 그래프 구조와 GCN 파라미터의 공동 학습이 준지도 노드 분류에서 더 나은 일반화 성능을 이끌어낼 수 있는가?

주요 결과

• 제안된 방법은 입력 그래프 없이 준지도 노드 분류에서 최신 기술 수준의 베이지안 및 비베이지안 그래프 신경망을 초월한다.
• 악성 공격에 대한 강건성이 뛰어나, 변형이 가해진 상황에서도 높은 정확도를 유지한다.
• Concrete 리파라미터라이제이션의 사용으로 이산 잠재 그래프 변수를 통해 효과적인 기울기 전파가 가능해졌고, 이는 엔드 투 엔드 학습을 가능하게 했다.
• 실제 데이터셋에서 진짜 그래프가 알려져 있거나 손상된 경우에도 그래프 구조와 GCN 파라미터의 공동 추론이 성능 향상에 기여한다.