[논문 리뷰] Learning Graph Normalization for Graph Neural Networks

Yihao Chen, Xin Tang외 3명|arXiv (Cornell University)|2020. 09. 24.

Advanced Graph Neural Networks참고 문헌 52인용 수 12

한 줄 요약

이 논문은 네 가지 구조적 수준에서 적응형 가중치를 최적화하여 노드별, 인접성별, 그래프별, 배치별로 최적의 정규화 기법을 자동으로 선택하는 학습 가능한 그래프 정규화(GN) 방법을 제안한다. 이 방법은 작업에 맞는 동적 정규화 전략 조합을 통해 노드 분류, 링크 예측, 그래프 회귀 작업 전반에서 GNN 성능을 향상시킨다.

ABSTRACT

Graph Neural Networks (GNNs) have attracted considerable attention and have emerged as a new promising paradigm to process graph-structured data. GNNs are usually stacked to multiple layers and the node representations in each layer are computed through propagating and aggregating the neighboring node features with respect to the graph. By stacking to multiple layers, GNNs are able to capture the long-range dependencies among the data on the graph and thus bring performance improvements. To train a GNN with multiple layers effectively, some normalization techniques (e.g., node-wise normalization, batch-wise normalization) are necessary. However, the normalization techniques for GNNs are highly task-relevant and different application tasks prefer to different normalization techniques, which is hard to know in advance. To tackle this deficiency, in this paper, we propose to learn graph normalization by optimizing a weighted combination of normalization techniques at four different levels, including node-wise normalization, adjacency-wise normalization, graph-wise normalization, and batch-wise normalization, in which the adjacency-wise normalization and the graph-wise normalization are newly proposed in this paper to take into account the local structure and the global structure on the graph, respectively. By learning the optimal weights, we are able to automatically select a single best or a best combination of multiple normalizations for a specific task. We conduct extensive experiments on benchmark datasets for different tasks, including node classification, link prediction, graph classification and graph regression, and confirm that the learned graph normalization leads to competitive results and that the learned weights suggest the appropriate normalization techniques for the specific task. Source code is released here https://github.com/cyh1112/GraphNormalization.

연구 동기 및 목표

• 그래프 신경망(GNN)의 최적 정규화 기법 선택 문제를 다루되, 이는 작업 간에 크게 다를 수 있음.
• 다양한 그래프 구조 작업에서 일관성 없이 작동하는 고정된 정규화 방법(예: 배치 정규화)의 한계를 극복함.
• 노드, 국소적 인접성, 전반적 그래프, 배치 수준의 다양한 구조 수준에서 다수의 정규화 전략을 통합하는 통합 프레임워크를 제안함.
• 정규화 구성 요소의 미분 가능 가중치를 통해 작업에 맞는 자동적, 작업 적응형 정규화 기법 선택을 가능하게 함.
• 학습된 정규화가 노드 분류, 링크 예측, 그래프 회귀 등 다양한 벤치마크에서 성능 향상을 이끌어내는 것으로 입증함.

제안 방법

• 노드별(노드별 통계), 인접성별(국소적 근접 구조), 그래프별(전반적 그래프 구조), 배치별(미니배치 통계)의 네 가지 정규화 기법을 도입함.
• 이 네 가지 정규화 유형을 가중치 합으로 조합하는 학습 가능한 그래프 정규화(GN) 레이어를 제안하며, 이 가중치는 미분 가능한 파라미터임.
• 역전파를 통해 정규화 가중치를 최적화하여, 주어진 작업에 대해 가장 효과적인 정규화 유형을 모델이 학습할 수 있도록 함.
• 여러 그래프 학습 작업에서 성능을 평가하기 위해 GatedGCN 아키텍처 내에 GN 레이어를 적용함.
• 각 정규화 유형에 대해 학습 가능한 가중치 벡터 λ ∈ ℝ^d 를 사용하며, 채널 간 요소별 평균을 통해 각 레이어의 중요도를 분석함.
• 메시지 전달 GNN에 GN 레이어를 통합하여 잔차 연결과 배치 정규화를 포함한 엔드 투 엔드 학습을 가능하게 함.

실험 결과

연구 질문

• RQ1 노드별, 인접성별, 그래프별, 배치별 정규화 기법이 다양한 그래프 학습 작업에서 어떻게 성능을 내는가?
• RQ2 통합 프레임워크가 다수의 정규화 전략을 적응적으로 조합하여 GNN 성능을 향상시킬 수 있는가?
• RQ3 학습된 정규화 가중치가 특정 정규화 유형에 대한 작업별 선호도를 반영하는가?
• RQ4 제안된 학습 가능한 그래프 정규화(GN)가 여러 벤치마크에서 고정 정규화 기반 모델을 능가하는가?
• RQ5 학습된 가중치로 최고 성능을 내는 정규화 방법들을 조합하면 최고의 단일 방법 성능을 도달하거나 초월하는가?

주요 결과

• 제안된 학습 가능한 그래프 정규화(GN)는 평가된 모든 작업에서 경쟁적인 성능을 기록하며, 각 데이터셋에서 최고의 단일 정규화 방법을 뛰어넘거나 동일하게 유지함.
• 노드 분류 작업에서는 그래프별 정규화(GN g)와 인접성별 정규화(GN a)가 다른 방법들보다 일관되게 뛰어나며, SROIE에서는 96.2% 정확도, CLUSTER에서는 69.31%를 기록함.
• 그래프 분류 및 회귀 작업(예: ZINC)에서는 배치별 정규화(GN b)가 뛰어난 성능을 보이며, ZINC에서 0.4311 MAE를 기록하여 다른 방법들을 능가함.
• 학습된 가중치는 레이어와 데이터셋 간에 동적으로 변화하며, 이는 서로 다른 레이어가 다른 정규화 전략을 선호함을 시사함. 특히 노드 분류 작업에서는 GN g가 지배적이고, 그래프 수준 작업에서는 GN b가 지배적임.
• 두 성능이 뛰어난 정규화 방법을 GN 프레임워크를 통해 조합하면 최고의 단일 방법과 유사한 성능을 기록함으로써, 적응형 융합의 효과를 확인함.
• 가중치 분석을 통한 검증을 통해 모델이 작업에 맞는 정규화 선호도를 학습할 수 있음을 입증함. 특히 노드 수준 작업에서는 GN g가 가장 중요하고, 그래프 수준 작업에서는 GN b가 가장 중요함.