[논문 리뷰] Graph Neural Processes: Towards Bayesian Graph Neural Networks

Andrew N. Carr, David Wingate|arXiv (Cornell University)|2019. 02. 26.

Advanced Graph Neural Networks참고 문헌 37인용 수 4

한 줄 요약

이 논문은 조건부 신경 프로세스를 그래프 구조 데이터로 확장하여 불확실성 인식 가능한 엣지 보정과 다양한 크기의 그래프에 대한 일반화를 가능하게 하는 베이지안 딥러닝 프레임워크인 그래프 신경 프로세스(GNP)를 소개한다. GNP는 여러 그래프 벤치마크 데이터셋에서 최신 기술을 초월하는 성능을 기록하며, 특히 불균형 데이터에서 정밀도, F1 점수, 재현율 측면에서 랜덤 포레스트 및 기준 모델을 앞서며 뛰어난 성능을 보인다.

ABSTRACT

We introduce Graph Neural Processes (GNP), inspired by the recent work in conditional and latent neural processes. A Graph Neural Process is defined as a Conditional Neural Process that operates on arbitrary graph data. It takes features of sparsely observed context points as input, and outputs a distribution over target points. We demonstrate graph neural processes in edge imputation and discuss benefits and drawbacks of the method for other application areas. One major benefit of GNPs is the ability to quantify uncertainty in deep learning on graph structures. An additional benefit of this method is the ability to extend graph neural networks to inputs of dynamic sized graphs.

연구 동기 및 목표

• 예측의 불확실성을 정량화하는 그래프 구조 데이터를 위한 베이지안 딥러닝 프레임워크를 개발하는 것.
• 조건부 신경 프로세스(CNP) 프레임워크를 임의의 그래프 입력에서 작동하도록 확장하여, 컨텍스트 포인트 순서에 대한 불변성을 확보하는 것.
• 국소적 노드 및 엣지 특징에서 공유된 전역 표현을 학습하여 크기가 다른 그래프 간의 일반화를 가능하게 하는 것.
• 노이즈가 있거나 누락된 엣지 값이 있는 상황에서 GNP의 엣지 보정 작업에서의 유용성을 입증하는 것.
• 미래의 베이지안 그래프 신경망 및 관계 추론 연구를 위한 기반을 마련하는 것.

제안 방법

• GNP는 그래프 구조적 입력 표현을 사용하여 관찰된(컨텍스트) 엣지 특징 집합을 바탕으로 타겟 엣지 값에 대한 조건부 분포를 모델링한다.
• 컨텍스트 노드 및 엣지 특징를 고정 길이 표현으로 임bedding하기 위해 그래프 신경망(GNN) 인코더를 활용하며, 이를 교환 가능 연산(예: 평균 풀링)을 통해 컨텍스트 벡터 $ r_C $로 집계한다.
• 컨텍스트 벡터 $ r_C $는 타겟 엣지 값에 대한 분포를 예측하기 위해 디코더 네트워크를 조건화하는 전역 컨텍스트로 사용된다.
• 모델은 출력 유형(연속형 또는 이산형)에 따라 최대우도 또는 교차엔트로피 손실을 사용하여 훈련되며, 컨텍스트 및 타겟 엣지의 임의의 샘플링을 지원한다.
• 아키텍처는 컨텍스트 및 타겟 포인트 순서에 대해 불변성을 가지므로, 비정규 구조를 가진 그래프 데이터에 적합하다.
• GNN의 인도크티브 바이어스와 CNP의 확률적 인도크티브 바이어스를 활용하여 그래프 가족 전반에서 고수준 추상화를 학습한다.

실험 결과

연구 질문

• RQ1 신경 프로세스 프레임워크가 컨텍스트 순서에 대한 불변성을 유지하면서도 그래프 구조 데이터에서 성공적으로 적용될 수 있는가?
• RQ2 그래프에서 누락되거나 노이즈가 있는 데이터가 있는 경우, 그래프 신경 프로세스(GNP)가 엣지 값 예측의 불확실성을 효과적으로 모델링할 수 있는가?
• RQ3 GNP는 크기와 구조가 다른 그래프 간에 얼마나 잘 일반화되는가, 특히 저자료 또는 불균형 설정에서의 성능은 어떠한가?
• RQ4 GNP는 엣지 보정 작업에서 랜덤 포레스트와 같은 전통적 기준 모델에 비해 어떤 성능 향상을 보이는가?
• RQ5 GNP는 불확실성 추정과 관계 추론을 통해 어떤 적용 분야에서 의미 있는 개선을 제공할 수 있는가?

주요 결과

• Tox21 데이터셋에서 GNP는 모든 기준 모델보다 정밀도 약 20%, F1 점수 12%, 재현율 10% 향상되어 불균형 데이터에서 강력한 일반화 능력을 입증한다.
• PTC 가족 데이터셋에서 GNP는 랜덤 포레스트 대비 정밀도 10–15% 향상되고 F1 점수 3–10% 향상되어 반감독 엣지 예측에서 뛰어난 성능을 보인다.
• MUTAG 데이터셋에서 GNP는 랜덤 포레스트 및 단순 기준 모델을 크게 앞서며, 유전자 변형 화합물을 분류하는 데 더 높은 정확도를 달성한다.
• 높은 클래스 불균형 상황(예: bzr에서 다수 클래스 예측으로 90% 정확도)에서도 GNP는 네 개 데이터셋 중 두 개에서 F1 및 재현율 최고 성능를 기록하여 불균형에 대한 강건성을 보여준다.
• GNP는 분자 화합물, 교통 네트워크, 지식 그래프 등 다양한 그래프 유형에서 뛰어난 성능를 보이며, 광범위한 적용 가능성을 입증한다.
• 모델은 그래프 가족 전반에서 전역 표현을 효과적으로 학습하여 소수의 샘플 및 동적 그래프 추론에 효과적임을 입증하였으며, 다양한 벤치마크에서의 성능으로 이를 뒷받침한다.