[논문 리뷰] Bayesian Graph Neural Networks with Adaptive Connection Sampling

Arman Hasanzadeh, Ehsan Hajiramezanali외 5명|arXiv (Cornell University)|2020. 06. 07.

Advanced Graph Neural Networks참고 문헌 41인용 수 17

한 줄 요약

이 논문은 그래프 신경망(GNNs)에서 적응형 연결 샘플링을 위한 통합 프레임워크인 그래프 드롭커넥트(GDC)를 제안한다. GDC는 훈련 중에 샘플링 비율을 함께 학습한다. 연결 끊기 비율을 계층적 베타-베르누이 구조로 모델링하고, 연속적 리프레젠테이션과 ARM 기반 경량화 기법을 사용함으로써 베이지안 유사 불확실성 측정과 함께 과도한 스무딩과 과적합을 크게 감소시킨다. 이는 기준 테스트 데이터셋에서 반감성 노드 분류 작업에서 고정 비율 기반 기법인 DropEdge와 DropOut을 능가한다.

ABSTRACT

We propose a unified framework for adaptive connection sampling in graph neural networks (GNNs) that generalizes existing stochastic regularization methods for training GNNs. The proposed framework not only alleviates over-smoothing and over-fitting tendencies of deep GNNs, but also enables learning with uncertainty in graph analytic tasks with GNNs. Instead of using fixed sampling rates or hand-tuning them as model hyperparameters in existing stochastic regularization methods, our adaptive connection sampling can be trained jointly with GNN model parameters in both global and local fashions. GNN training with adaptive connection sampling is shown to be mathematically equivalent to an efficient approximation of training Bayesian GNNs. Experimental results with ablation studies on benchmark datasets validate that adaptively learning the sampling rate given graph training data is the key to boost the performance of GNNs in semi-supervised node classification, less prone to over-smoothing and over-fitting with more robust prediction.

연구 동기 및 목표

• 깊은 GNN에서의 과도한 스무딩과 과적합 문제를 해결함으로써 성능과 깊이 제한을 완화하기 위해.
• 기본 GNN에서 부족한 불확실성 측정(UQ) 기능을 GNN 예측에 도입하기 위해.
• 기존의 확률적 정규화 기법들인 DropEdge와 DropOut을 하나의 적응형 프레임워크로 통합하기 위해.
• GNN의 강건성과 일반화 능력을 향상시키기 위한 기울기 전파 가능한 학습 가능한 연결 샘플링 메커니즘을 개발하기 위해.
• GDC에 대한 베이지안 해석을 수립하여 몬테카를로 불확실성 추정과 베이지안 GNN과의 연결을 맺기 위해.

제안 방법

• 메시지 전달 채널 별로 학습 가능한 끊기 비율을 사용하여 GNN 내에서 간선을 적응형으로 샘플링하는 스토하스틱 정규화 기법인 그래프 드롭커넥트(GDC)를 제안한다.
• 연결 샘플링 비율을 계층적 베타-베르누이 프로세스로 모델링하여 간선 끊기 확률의 베이지안 학습을 가능하게 한다.
• 이산적 샘플링 연산을 통한 엔드 투 엔드 백프로파게이션을 가능하게 하기 위해 연속적 리프레젠테이션과 Augment-REINFORCE-Merge(ARM) 기반 기울기 추정 기법을 적용한다.
• GDC를 통한 GNN 훈련의 베이지안 근사화를 유도하며, 샘플된 그래프에 대한 몬테카를로 추론을 통해 예측 불확실성 추정치를 도출한다.
• GCN 및 GraphSAGE 아키텍처에 GDC를 적용하여 표현 다양성을 향상시키기 위해 채널 별 독립적인 샘플링 마스크를 도입한다.
• 기능 채널 간에 샘플링 마스크를 공유함으로써 메모리 사용량을 줄이기 위해 블록 단위 마스킹을 도입한다.

실험 결과

연구 질문

• RQ1 고정 비율 기반 스토하스틱 정규화 기법과 비교해 볼 때, 적응형 학습 가능한 연결 샘플링이 GNN의 일반화 능력 향상과 과도한 스무딩 감소에 기여하는가?
• RQ2 GDC는 CNN의 베이지안 딥러닝과 유사한 수준의 의미 있는 불확실성 측정을 GNN 예측에 제공하는가?
• RQ3 반감성 노드 분류 작업에서 기존의 기법들인 DropEdge와 DropOut과 비교해 GDC의 성능과 강건성은 어떠한가?
• RQ4 GDC의 베이지안 해석이 타당한가? 즉, 그래프에 대한 몬테카를로 샘플링이 사후 예측 분포를 근사하는가?
• RQ5 GDC의 기능 블록 수를 변화시킬 경우, 모델 성능, 메모리 사용량, 계산 비용 간의 상충 관계는 어떠한가?

주요 결과

• 적응형 GDC를 적용한 GCN-BBGDC는 32개의 블록을 사용하여 Cora 데이터셋에서 83.3%의 정확도를 달성했으며, 표준 GCN-DO와 GCN-DE는 4층을 초과하면 성능이 크게 떨어지는 것으로 나타났다.
• GCN-BBGDC의 히든 레이어 출력에서의 TV(Total Variation) 값은 훈련 중에 증가하여 과도한 스무딩 감소를 나타내었고, 반면 GCN-DO는 TV 값이 감소하여 과도한 스무딩이 발생하고 있음을 시사했다.
• GCN-BBGDC는 깊이가 증가함에 따라 성능 저하가 약간에 그치며 16층까지도 안정적인 성능 유지를 보였고, GCN-DO는 16층에서 정확도가 64.5%로 떨어져 강건성 면에서 뛰어난 성능을 보였다.
• 제거 실험 결과, 단지 DropEdge 비율만 학습하는 것(또한 DropOut은 제외)이 성능 향상에 상당한 기여를 하며, 적응형 간선 샘플링의 중요성을 입증했다.
• GDC의 블록 수를 늘릴수록 정확도가 향상되었으며(2개 블록 시 82.2%에서 32개 블록 시 83.3%로), 더 높은 유연성과 표현 다양성 향상을 확인했다.
• GDC에서 몬테카를로 샘플링을 통한 예측 불확실성은 표준 DropOut보다 더 신뢰할 수 있는 성능을 보였으며, 이는 UQ 성능 향상으로 검증되었다.