[논문 리뷰] GraphNorm: A Principled Approach to Accelerating Graph Neural Network Training

Tianle Cai, Shengjie Luo외 4명|arXiv (Cornell University)|2020. 09. 07.

Advanced Graph Neural Networks참고 문헌 71인용 수 74

한 줄 요약

GraphNorm은 Graph InstanceNorm에 학습 가능한 시프트를 추가하여 일반 그래프에서 정보 손실을 완화하고, BatchNorm, LayerNorm, InstanceNorm 또는 정규화 없음보다 더 빠른 수렴과 더 나은 일반화를 이끈다.

ABSTRACT

Normalization is known to help the optimization of deep neural networks. Curiously, different architectures require specialized normalization methods. In this paper, we study what normalization is effective for Graph Neural Networks (GNNs). First, we adapt and evaluate the existing methods from other domains to GNNs. Faster convergence is achieved with InstanceNorm compared to BatchNorm and LayerNorm. We provide an explanation by showing that InstanceNorm serves as a preconditioner for GNNs, but such preconditioning effect is weaker with BatchNorm due to the heavy batch noise in graph datasets. Second, we show that the shift operation in InstanceNorm results in an expressiveness degradation of GNNs for highly regular graphs. We address this issue by proposing GraphNorm with a learnable shift. Empirically, GNNs with GraphNorm converge faster compared to GNNs using other normalization. GraphNorm also improves the generalization of GNNs, achieving better performance on graph classification benchmarks.

연구 동기 및 목표

• 그래프 신경망(GNNs)에서 정규화의 필요성을 동기 부여하고 이해한다.
• BatchNorm, LayerNorm, InstanceNorm 등 기존 정규화 방법을 GNN에 적용했을 때 평가한다.
• 그래프에서 InstanceNorm과 BatchNorm의 한계를 식별한다.
• 전처리 효과를 유지하면서 표현력 저하를 극복하기 위해 GraphNorm을 제안한다.
• GraphNorm이 학습을 가속화하고 벤치마크 전반에서 일반화를 향상시킨다는 것을 보여준다.

제안 방법

• 선형 변환/집계 단계 후에 정규화를 적용하여 BatchNorm, LayerNorm, 및 InstanceNorm을 GNN에 적응시킨다.
• InstanceNorm의 시프트가 GNN 집계의 사전 조건화로 작용하는 이유와 BatchNorm이 그래프 배치 노이즈로 인해 고통받는 이유를 분석한다.
• 표준 InstanceNorm 시프트가 고도로 규칙적인 그래프에서 표현력을 저하시킬 수 있음을 보여준다.
• 그래프 정보를 보존하기 위해 특징 차원당 학습 가능한 시프트 매개변수를 갖는 GraphNorm을 도입한다.
• 이론적 직관과 실증적 검증을 여덟 개의 그래프 분류 벤치마크에 걸쳐 제공한다.
• GraphNorm을 BatchNorm, InstanceNorm, LayerNorm 및 정규화 없음과 비교한다.

실험 결과

연구 질문

• RQ1 표준 정규화 스킴(BatchNorm, LayerNorm, InstanceNorm)은 GNN 아키텍처에 통합될 때 어떻게 작동하는가?
• RQ2 왜 InstanceNorm이 GNN 학습을 가속화하고, 왜 그 시프트가 규칙적인 그래프의 표현력을 해칠 수 있는가?
• RQ3 그래프 정규화의 학습 가능한 시프트가 가속 이점을 유지하면서 중요한 그래프 정보를 보존할 수 있는가?
• RQ4 GraphNorm은 다양한 그래프 데이터셋과 아키텍처(GIN/GCN)에서 수렴 속도와 일반화를 향상시키는가?

주요 결과

• InstanceNorm은 그래프 집계를 위한 사전 조건화로 작용하여 BatchNorm 또는 LayerNorm보다 GNN 학습 속도를 빠르게 한다.
• BatchNorm은 그래프 데이터에서 심한 배치 노이즈를 겪어 GNN 최적화에 덜 효과적이다.
• 고도로 규칙적인 그래프에서 정보성 평균 통계를 제거함으로써 표현력을 해칠 수 있는 고정 시프트가 InstanceNorm에 있다.
• GraphNorm은 특징 차원당 학습 가능한 시프트를 도입하여 필수 평균 정보를 보존하고 수렴을 개선한다.
• 실증적으로 GraphNorm은 여러 그래프 벤치마크에서 수렴 속도와 일반화에서 다른 정규화 방법보다 우수하다.