[논문 리뷰] Towards Deeper Graph Neural Networks with Differentiable Group Normalization

Kaixiong Zhou, Xiao Huang외 4명|arXiv (Cornell University)|2020. 06. 12.

Advanced Graph Neural Networks참고 문헌 25인용 수 81

한 줄 요약

이 논문은 differentiable group normalization (DGN)을 도입하여 Graph Neural Networks의 과도한 평활화(over-smoothing)를 완화하고, 노드들을 그룹으로 클러스터링해 각 그룹을 독립적으로 정규화함으로써 더 깊은 아키텍처와 노드 분류 성능을 향상시킨다. 또한 그룹 거리 비율(Group Distance Ratio)과 인스턴스 정보 이득(Instance Information Gain)이라는 두 가지 과도한 평활화 지표를 제안한다.

ABSTRACT

Graph neural networks (GNNs), which learn the representation of a node by aggregating its neighbors, have become an effective computational tool in downstream applications. Over-smoothing is one of the key issues which limit the performance of GNNs as the number of layers increases. It is because the stacked aggregators would make node representations converge to indistinguishable vectors. Several attempts have been made to tackle the issue by bringing linked node pairs close and unlinked pairs distinct. However, they often ignore the intrinsic community structures and would result in sub-optimal performance. The representations of nodes within the same community/class need be similar to facilitate the classification, while different classes are expected to be separated in embedding space. To bridge the gap, we introduce two over-smoothing metrics and a novel technique, i.e., differentiable group normalization (DGN). It normalizes nodes within the same group independently to increase their smoothness, and separates node distributions among different groups to significantly alleviate the over-smoothing issue. Experiments on real-world datasets demonstrate that DGN makes GNN models more robust to over-smoothing and achieves better performance with deeper GNNs.

연구 동기 및 목표

• GNN에서 그룹 및 인스턴스 관점의 과도한 평활화를 새로운 지표로 정량화한다.
• 과도한 평활화를 줄이기 위한 differentiable group normalization 기법을 제안한다.
• DGN이 벤치마크 데이터 세트에서 더 깊은 GNN과 향상된 성능을 가능하게 함을 보여준다.
• 누락된 노드 특징 시나리오에서 DGN의 robust 함을 보여준다.

제안 방법

• 과도한 평활화를 측정하기 위한 두 가지 지표: Group Distance Ratio와 Instance Information Gain를 정의한다.
• GNN 계층 간 각 그룹을 독립적으로 정규화하는 부드러운 노드 군집화를 수행하는 differentiable group normalization (DGN)을 도입한다.
• differentiable softmax 기반 클러스터링을 통해 그룹 할당을 계산한다: S^(k) = softmax(H^(k) U^(k)).
• 각 그룹을 고유의 running mean/variance 및 선형 변환 파라미터로 정규화한 뒤, 원래 임베딩과 결합하여 H^(k) + λ sum_i tilde{H}^(k)_i 를 얻는다.
• 감독 손실과 그룹 정규화에 내재된 정규화 효과를 함께 최적화하도록 엔드-투-엔드로 학습한다.
• DGN이 입력 특징을 보존하면서 그룹 간 분포를 분리해 과도한 평활화를 완화함을 보여준다.

실험 결과

연구 질문

• RQ1 GNN에서의 과도한 평활화를 Node 간 거리 비교를 넘어 어떻게 정확히 측정할 수 있는가?
• RQ2 유용한 자기 특징을 희생하지 않으면서 그룹별 정규화 전략이 과도한 평활화를 완화할 수 있는가?
• RQ3 DGN으로 더 깊은 GNN을 가능하게 하면 표준 벤치마크 및 특징이 누락된 시나리오에서 성능이 향상되는가?

주요 결과

• DGN은 과도한 평활화를 크게 완화하고, 여러 데이터셋과 깊이에서 none, batch, pair 정규화보다 우수한 성능을 보인다.
• DGN을 사용하면 더 깊은 GNN이 얕은 GNN보다 높은 정확도를 달성하며, 예를 들어 Cora의 SGC에서 K = 20일 때 최고 정확도 79.7%를 얻는다.
• 특징 누락 시나리오에서 DGN은 기본설정 대비 NN 대비 평균 37.8%, BN 대비 7.1%, PN 대비 12.8%의 상당한 향상을 보인다.
• DGN은 더 깊은 아키텍처가 다중 홉 이웃 정보를 효과적으로 활용하도록 하며, 일부 설정에서 최대 30층과 같은 더 큰 최적 계층 수를 자주 사용한다.
• 이 방법은 과도한 정규화를 피하기 위해 self-preserving 구성요소 H^(k)를 유지하는 반면, 그룹 간 분포를 분리해 그룹 간 분포를 분리한다.