[논문 리뷰] Measuring and Improving the Use of Graph Information in Graph Neural Networks

Yifan Hou, Jian Zhang외 5명|arXiv (Cornell University)|2022. 06. 27.

Advanced Graph Neural Networks참고 문헌 60인용 수 72

한 줄 요약

본 논문은 GNN에서 이웃 정보가 얼마나 많이 필요하고 얼마나 유용한지 정량하기 위한 두 개의 그래프 평활성 지표를 제시하고, 이 지표를 활용해 이웃 정보를 선택적으로 집계하는 CS-GNN 모델을 제안하여 다양한 그래프에서 성능을 향상시킨다.

ABSTRACT

Graph neural networks (GNNs) have been widely used for representation learning on graph data. However, there is limited understanding on how much performance GNNs actually gain from graph data. This paper introduces a context-surrounding GNN framework and proposes two smoothness metrics to measure the quantity and quality of information obtained from graph data. A new GNN model, called CS-GNN, is then designed to improve the use of graph information based on the smoothness values of a graph. CS-GNN is shown to achieve better performance than existing methods in different types of real graphs.

연구 동기 및 목표

• 그래프 데이터로부터 GNN이 얼마나 성능을 얻는지 이해할 필요성을 동기부여한다.
• 이웃 정보의 양(λ_f)과 질(λ_l)을 정량화하는 두 개의 평활성 지표를 정의한다.
• 평활성을 활용해 이웃 정보를 선택적으로 집계하는 CS-GNN을 제안한다.
• CS-GNN이 실제 그래프에서 우수하거나 경쟁력 있는 성능을 달성함을 입증한다.

제안 방법

• 각 라운드에 대해 두 매핑이 있는 컨텍스트-서라운딩 GNN 프레임워크를 정의한다: c_v^{(k)} = f1(c_v^{(k-1)}, s_v^{(k-1)}) 및 s_v^{(k-1)} = f2(∑_{v' in N_v} a_{i,j}^{(k-1)} c_{v'}^{(k-1)}).
• 두 가지 평활성 지표를 도입한다: 주변 정보로부터의 정보 이득을 측정하는 특징 평활성 λ_f와 주변으로부터의 부정적 간섭 가능성을 측정하는 라벨 평활성 λ_l.
• 평균 집계자(mean aggregators)에 대한 λ_f과 KL 발산 D_KL(S||C)의 관계를 도출한다(정리 4).
• 곱셈적 주의(attention)를 사용하는 CS-GNN을 제안한다; 이웃-맥락 상호작용을 통해 계수 a_{i,j}^{(k)}를 계산하고, λ_f와 λ_l을 포함하여 시끄러운 이웃을 억제하고 표현 차원을 조정한다.
• 로컬 토폴로지 특징(GraphWave에서 영감을 얻은 토폴로지 특징)과 같은 부가 정보를 주의 메커니즘과 최종 예측에 포함하도록 CS-GNN을 확장한다.
• 실제 그래프에서 GCN, GraphSAGE, GAT 및 토폴로지/특징 기반 베이스라인과의 비교 실험 설정을 제공한다.

실험 결과

연구 질문

• RQ1 주어진 그래프와 작업에 대해 이웃 정보를 GNN이 얼마나 유용하게 사용할 수 있는지 어떻게 정량화할 수 있는가?
• RQ2 두 개의 평활성 지표(특징 평활성 및 라벨 평활성)가 정보 이득 및 작업 성능과 상관관계가 있는가?
• RQ3 CS-GNN과 같은 GNN 모델이 평활성 측정치를 사용해 이웃을 선택적으로 집계하고 다양한 그래프에서 성능을 개선할 수 있는가?

주요 결과

• 제안된 두 개의 평활성 지표가 GNN의 이웃으로부터 얻은 정보의 양(λ_f)과 질(λ_l)을 정량화한다.
• 평균 집계 시 λ_f가 증가할 때 정보 이득(D_KL(S||C))이 증가하는 양의 상관관계가 있으며, λ_f=0일 때는 0이다.
• 더 높은 λ_l(더 많은 교차-라벨 엣지)은 주변으로부터의 부정적 간섭이 더 크다는 신호이며, 이러한 엣지를 줄이면 성능이 향상된다.
• CS-GNN은 Citeseer, Cora, PubMed, Amazon, BGP 데이터셋에서 GCN, GraphSAGE, GAT 및 토폴로지/특징 기반 베이스라인에 비해 일관되게 경쟁력 있거나 우수한 노드 분류 성능을 달성한다.
• 보조 정보(로컬 토폴로지 특징)를 CS-GNN의 주의 메커니즘과 최종 예측에 통합할 수 있으며, 항상 성능 향상에 필수적이지는 않다.
• λ_f가 크고 λ_l이 작은 그래프에서 특히 두드러진 개선을 보이며, 전통적인 GNN이 어려움을 겪는 그래프에서 더 큰 이점을 보인다.