[논문 리뷰] Adaptive Universal Generalized PageRank Graph Neural Network

Eli Chien, Jianhao Peng외 2명|arXiv (Cornell University)|2020. 06. 14.

Advanced Graph Neural Networks참고 문헌 56인용 수 93

한 줄 요약

GPR-GNN은 Generalized PageRank 가중치를 적응적으로 학습하여 노드 특징과 그래프 토폴로지를 공동으로 활용하며 동류-이질 그래프에서 강한 성능을 달성하고 깊이에 따른 과도한 평활화를 완화합니다.

ABSTRACT

In many important graph data processing applications the acquired information includes both node features and observations of the graph topology. Graph neural networks (GNNs) are designed to exploit both sources of evidence but they do not optimally trade-off their utility and integrate them in a manner that is also universal. Here, universality refers to independence on homophily or heterophily graph assumptions. We address these issues by introducing a new Generalized PageRank (GPR) GNN architecture that adaptively learns the GPR weights so as to jointly optimize node feature and topological information extraction, regardless of the extent to which the node labels are homophilic or heterophilic. Learned GPR weights automatically adjust to the node label pattern, irrelevant on the type of initialization, and thereby guarantee excellent learning performance for label patterns that are usually hard to handle. Furthermore, they allow one to avoid feature over-smoothing, a process which renders feature information nondiscriminative, without requiring the network to be shallow. Our accompanying theoretical analysis of the GPR-GNN method is facilitated by novel synthetic benchmark datasets generated by the so-called contextual stochastic block model. We also compare the performance of our GNN architecture with that of several state-of-the-art GNNs on the problem of node-classification, using well-known benchmark homophilic and heterophilic datasets. The results demonstrate that GPR-GNN offers significant performance improvement compared to existing techniques on both synthetic and benchmark data.

연구 동기 및 목표

• 전통적인 GNN이 동류성 또는 이질성에 편향된 고정된 가중치를 사용하는 한계를 다룬다.
• Generalized PageRank (GPR)를 통해 노드 특징과 그래프 토폴로지를 적응적으로 융합하는 보편적 GNN 아키텍처를 개발한다.
• Propagation 가중치를 엔드-투-엔드로 학습하여 깊은 전파에서도 과도한 평활화를 방지한다.
• GPR를 다항 그래프 필터와 연결하는 이론적 통찰을 제공하고 합성 및 실제 데이터셋에서의 실용적 성능을 시연한다.

제안 방법

• 먼저 각 노드의 숨겨진 특징을 신경망으로 추출한 다음 학습 가능한 가중치 γ_k를 갖는 Generalized PageRank (GPR)로 이 특징들을 전파하는 GPR-GNN 아키텍처를 도입한다.
• 전파를 H^(k) = Ã_sym H^(k-1)로 표현하고 H^(0) = f_θ(X)이며, γ_k가 K 만큼의 전파 단계에 걸친 기여를 가중하고 Z = ∑_{k=0}^K γ_k H^(k)로 합산한다.
• 그래프의 동류/이질성에 적응적으로 대응하도록 엔드-투-엔드 방식으로 GPR 가중치 γ_k를 네트워크 파라미터 θ와 함께 학습한다.
• 모델을 g_{γ,K}(Λ)이라는 다항 그래프 필터로 해석하고 g_{γ,K}(λ) = ∑_{k=0}^K γ_k λ^k로 표현하여 로우-패스와 하이-패스 동작을 분석한다.
• 비음수이면서 합이 1에 가까운 γ_k는 로우-패스 필터를 생성하고 음수 γ_k를 허용하면 이질 그래프에 적합한 하이-패스 필터링이 가능하며, 적응적 γ_k가 과도한 평활화를 완화한다(정리 4.1 및 4.2).
• 합성 contextual stochastic block model (cSBM) 데이터와 실제 데이터셋에서 동류성-이질성 영역 전반에 걸쳐 평가하고, 표준 GNN 및 PPR 기반 방법과 비교한다.

실험 결과

연구 질문

• RQ1 적응적으로 학습된 GPR 가중치를 갖는 GNN이 다양한 동류성 및 이질성 수준의 그래프에서 보편적 성능을 달성할 수 있는가?
• RQ2 학습된 GPR 가중치가 특징 전파 versus 토폴로지 전파 중 어느 것이 더 정보에 기여하는지에 대한 해석 가능한 통찰을 제공하는가?
• RQ3 적응형 GPR 가중치가 과도한 평활화를 완화하고 더 깊은 전파를 성능 손실 없이 가능하게 하는가?
• RQ4 GPR-GNN가 합성 cSBM 벤치마크와 실제 동류/이질 데이터셋에서 최첨단 기법 대비 어떤 성능을 보이는가?

주요 결과

방법	Cora	Citeseer	PubMed	Computers	Photo	Chameleon	Actor	Squirrel	Texas	Cornell
GPRGNN	79.51 ± 0.36	67.63 ± 0.38	85.07 ± 0.09	82.90 ± 0.37	91.93 ± 0.26	67.48 ± 0.40	39.30 ± 0.27	49.93 ± 0.53	92.92 ± 0.61	91.36 ± 0.70
APPNP	79.41 ± 0.38	68.59 ± 0.30	85.02 ± 0.09	81.99 ± 0.26	91.11 ± 0.26	51.91 ± 0.56	38.86 ± 0.24	34.77 ± 0.34	91.18 ± 0.70	91.80 ± 0.63
MLP	50.34 ± 0.48	52.88 ± 0.51	80.57 ± 0.12	70.48 ± 0.28	78.69 ± 0.30	46.72 ± 0.46	38.58 ± 0.25	31.28 ± 0.27	92.26 ± 0.71	91.36 ± 0.70
SGC	70.81 ± 0.67	58.98 ± 0.47	82.09 ± 0.11	76.27 ± 0.36	83.80 ± 0.46	63.02 ± 0.43	29.39 ± 0.20	43.14 ± 0.28	55.18 ± 1.17	47.80 ± 1.50
GCN	75.21 ± 0.38	67.30 ± 0.35	84.27 ± 0.01	82.52 ± 0.32	90.54 ± 0.21	60.96 ± 0.78	30.59 ± 0.23	45.66 ± 0.39	75.16 ± 0.96	66.72 ± 1.37
GAT	76.70 ± 0.42	67.20 ± 0.46	83.28 ± 0.12	81.95 ± 0.38	90.09 ± 0.27	63.9 ± 0.46	35.98 ± 0.23	42.72 ± 0.33	78.87 ± 0.86	76.00 ± 1.01
SAGE	70.89 ± 0.54	61.52 ± 0.44	81.30 ± 0.10	83.11 ± 0.23	90.51 ± 0.25	62.15 ± 0.42	36.37 ± 0.21	41.26 ± 0.26	79.03 ± 1.20	71.41 ± 1.24
JKNet	73.22 ± 0.64	60.85 ± 0.76	82.91 ± 0.11	77.80 ± 0.97	87.70 ± 0.70	62.92 ± 0.49	33.41 ± 0.25	44.72 ± 0.48	75.53 ± 1.16	66.73 ± 1.73
GCN-Cheby	71.39 ± 0.51	65.67 ± 0.38	83.83 ± 0.12	82.41 ± 0.28	90.09 ± 0.28	59.96 ± 0.51	38.02 ± 0.23	40.67 ± 0.31	86.08 ± 0.96	85.33 ± 1.04
GeomGCN	20.37 ± 1.13	20.30 ± 0.90	58.20 ± 1.23	NA	NA	61.06 ± 0.49	31.81 ± 0.24	38.28 ± 0.27	58.56 ± 1.77	55.59 ± 1.59

• GPR-GNN은 합성 cSBM 데이터에서 동류성-이질성 스펙트럼 전반에 걸쳐 베이스라인보다 우수한 성능을 보이며, 특히 이질적 설정에서 큰 이득을 얻었다.
• 실제 벤치마크에서 GPR-GNN은 동류성 데이터셋에서 최첨단 성능을 달성하고 이질성 데이터셋에서 APPNP, SGC, GCN, GAT, JKNet, GCN-Cheby, SAGE 대비 상당한 개선을 보였다.
• 학습된 GPR 가중치는 동류 데이터셋에서 양수이며 이질 데이터셋에서 음수/지그재그 패턴을 보이며 고주파 필터링에 대한 이론적 기대와 일치한다.
• 모델은 무작위 GPR 초기화에서도 견고하며 특히 조밀한 분할에서 해석 가능성을 가지는 γ_k 패턴을 보인다.
• 필요시 고단계 γ_k의 크기를 줄여 과도한 평활화를 피하고, 이로써 이로울 때는 유의미한 대규모 한 단계 전파를 가능하게 한다.
• 고정 가중치 PPR 기반 방법과 비교하여, 적응적 γ_k는 그래프 필터가 저주파와 고주파 성분을 모두 포착하도록 하여 이질성 문제를 해결한다.