[논문 리뷰] A Unifying Generative Model for Graph Learning Algorithms: Label Propagation, Graph Convolutions, and Combinations

Junteng Jia, Austin R. Benson|arXiv (Cornell University)|2021. 01. 19.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 가우시안 마르코프 무작위 필드(GMRFs) 기반의 통합 생성 모델을 제안하며, 이는 단일 통계적 프레임워크 내에서 레이블 전파, 그래프 컨볼루션, 그리고 그 조합을 조건부 기대값으로 통합한다. 모델은 원칙적인 알고리즘 유도를 가능하게 하고, 과도한 스무딩을 설명하며, 트레이스 기반 R² 근사법을 통해 정확한 성능 추정을 가능하게 한다. 새로운 선형 그래프 컨볼루션 방법은 강력한 경험적 성능을 보였다.

ABSTRACT

Semi-supervised learning on graphs is a widely applicable problem in network science and machine learning. Two standard algorithms -- label propagation and graph neural networks -- both operate by repeatedly passing information along edges, the former by passing labels and the latter by passing node features, modulated by neural networks. These two types of algorithms have largely developed separately, and there is little understanding about the structure of network data that would make one of these approaches work particularly well compared to the other or when the approaches can be meaningfully combined. Here, we develop a Markov random field model for the data generation process of node attributes, based on correlations of attributes on and between vertices, that motivates and unifies these algorithmic approaches. We show that label propagation, a linearized graph convolutional network, and their combination can all be derived as conditional expectations under our model, when conditioning on different attributes. In addition, the data model highlights deficiencies in existing graph neural networks (while producing new algorithmic solutions), serves as a rigorous statistical framework for understanding graph learning issues such as over-smoothing, creates a testbed for evaluating inductive learning performance, and provides a way to sample graphs attributes that resemble empirical data. We also find that a new algorithm derived from our data generation model, which we call a Linear Graph Convolution, performs extremely well in practice on empirical data, and provide theoretical justification for why this is the case.

연구 동기 및 목표

• 노드 속성을 위한 단일 생성 통계 모델 아래에서 다양한 그래프 학습 알고리즘—레이블 전파, 그래프 컨볼루션, 그리고 그 조합—을 통합하기 위해.
• 그래프 신경망에서의 과도한 스무딩 및 부족한 스무딩을 분석하기 위한 엄밀한 통계적 프레임워크를 제공하기 위해.
• 동일한 분포에서 그래프를 샘플링하여 유도 학습 성능 평가를 위한 테스트베드를 구축하기 위해.
• GMRF 모델에서 유도된 트레이스 기반 R² 추정 공식을 사용해 알고리즘 성능을 정확하게 예측할 수 있도록 하기 위해.
• 고호모지리 조건에서 이웃 구조를 기억하는 등의 기존 GNN의 결함을 식별하고 해결하기 위해.

제안 방법

• 그래프 구조와 노드 특징 상관관계에 의해 정의된 조건부 독립성 구조를 갖는 가우시안 MRF로 노드 속성을 수식화하기.
• 레이블 전파, 그래프 컨볼루션, 하이브리드 방법을 모두 GMRF 모델 하에서 조건부 기대값으로 유도하기.
• 조건부 기대값의 일계 근사를 도입하여 트레이스 기반 R² 성능 추정식을 유도하기: $ E[R^2] \approx 1 - \frac{\mathrm{tr}(\bm{\Sigma}^{(\mathcal{A})})}{\mathrm{tr}(\bm{\Sigma}^{(0)}) - \frac{1}{|U|}\bm{1}^T\bm{\Sigma}^{(0)}\bm{1}} $.
• 실세계 데이터에 GMRF 파라미터를 피팅하여 실제 데이터와 유사한 특징이 부여된 합성 그래프 생성하기.
• GMRF 모델에서 직접 파생된 새로운 선형 그래프 컨볼루션(LGC) 알고리즘 제안하며, 비선형성을 피하고 스무딩을 최적화하기 위해 설계됨.
• 모델을 사용해 GNN의 한계를 분석하고, 특히 고호모지리 조건에서 이웃 구조를 기억하는 경향을 밝혀내며, 이를 해결하기 위한 제안을 제시함.

실험 결과

연구 질문

• RQ1 레이블 전파, 그래프 컨볼루션, 그리고 그 조합가 단일 생성 모델 아래에서 노드 속성에 대해 통합될 수 있는가?
• RQ2 GMRF 프레임워크는 레이블 전파와 그래프 신경망 간의 성능 차이를 어떻게 설명하고 예측할 수 있는가?
• RQ3 GNN에서 과도한 스무딩은 무엇으로 인해 발생하며, GMRF 모델은 이를 엄밀한 통계적 설명으로 제공할 수 있는가?
• RQ4 GMRF 모델은 그래프 알고리즘의 유도 학습 일반화 성능 평가를 위한 테스트베드로 기능할 수 있는가?
• RQ5 트레이스 기반 R² 추정기는 합성 및 실세계 그래프에서 경험적 성능을 얼마나 잘 예측할 수 있는가?

주요 결과

• 제안된 GMRF 모델은 단일 확률적 프레임워크 내에서 레이블 전파, 그래프 컨볼루션, 그리고 그 조합을 모두 조건부 기대값으로 성공적으로 통합하였다.
• 트레이스 기반 R² 추정기는 합성 데이터에서 매우 정확한 성능 예측을 제공하였으며, 다양한 레이블 선택에 대해 추정된 R² 값과 경험적 R² 값 간에 높은 일치도를 보였다.
• 실세계 데이터셋에서는 R² 추정기가 경험적 성능과 상당한 양의 상관관계를 보였으며, 특히 2016년 미국 선거 및 런던 시장 선거 지도와 같은 선형 상관관계가 있는 데이터에서 두드러진 성능을 보였다.
• CDC 기후 데이터셋에서는 비선형 상관관계로 인해 추정기가 성능이 떨어졌으며, 이는 선형 GMRF 모델이 이를 완전히 포괄하지 못하기 때문이다.
• GMRF에서 유도된 새로운 선형 그래프 컨볼루션(LGC) 방법은 강력한 경험적 성능을 보였으며, 제안된 모델의 실용적 가치를 입증하였다.
• 모델은 표준 GNN이 고호모지리 조건에서 이웃 구조를 기억하는 경향이 있어 일반화 능력이 떨어지며, 이에 따라 고호모지리 조건에서는 더 단순한 선형 방법이 더 견고할 수 있음을 밝혀냈다.