[논문 리뷰] Dirichlet Energy Constrained Learning for Deep Graph Neural Networks

Kaixiong Zhou, Xiao Huang외 5명|arXiv (Cornell University)|2021. 07. 06.

Advanced Graph Neural Networks참고 문헌 51인용 수 39

한 줄 요약

이 논문은 Dirichlet 에너지를 층당 제어하여 깊은 GNN을 가능하게 하는 학습 방법을 제시하고, 직교 가중치 제어, 하한 잔차, Shifted ReLU를 도입한 Energetic Graph Neural Networks (EGNN)가 매우 깊은 그래프에서 최첨단 결과를 달성한다.

ABSTRACT

Graph neural networks (GNNs) integrate deep architectures and topological structure modeling in an effective way. However, the performance of existing GNNs would decrease significantly when they stack many layers, because of the over-smoothing issue. Node embeddings tend to converge to similar vectors when GNNs keep recursively aggregating the representations of neighbors. To enable deep GNNs, several methods have been explored recently. But they are developed from either techniques in convolutional neural networks or heuristic strategies. There is no generalizable and theoretical principle to guide the design of deep GNNs. To this end, we analyze the bottleneck of deep GNNs by leveraging the Dirichlet energy of node embeddings, and propose a generalizable principle to guide the training of deep GNNs. Based on it, a novel deep GNN framework -- EGNN is designed. It could provide lower and upper constraints in terms of Dirichlet energy at each layer to avoid over-smoothing. Experimental results demonstrate that EGNN achieves state-of-the-art performance by using deep layers.

연구 동기 및 목표

• Dirichlet 에너지 제약을 사용하여 깊은 GNN의 설계 및 학습을 안내하는 일반화 가능한 원칙을 동기 부여하고 형식화한다.
• 층당 Dirichlet 에너지 경계를 만족하는 깊은 GNN 아키텍처(EGNN)를 개발하여 과도한 평활화(over-smoothing) 및 과도한 분리(over-separating)를 완화한다.
• Dirichlet 에너지 제약 학습이 기존의 심층 GNN 기법을 설명하고 통합할 수 있음을 보인다.
• 실험적으로 EGNN이 벤치마크 데이터셋에서 경쟁력 있는 성능으로 최대 64레이어까지의 매우 깊은 아키텍처를 지원함을 보여준다.

제안 방법

• 노드 임베딩에 대한 Dirichlet 에너지 E(X^(k))를 정의하고 층 간에 과도한 평활화 및 과도한 분리를 피하기 위한 하한/상한을 수립한다.
• 학습 가능한 특징 변환 X^(0)=f(X)와 함께 Dirichlet 에너지 제약 학습을 제안한다: c_min E(X^(k-1)) <= E(X^(k)) <= c_max E(X^(0)).
• 다음 세 가지 구성 요소로 EGNN을 설계한다: (i) 특이값을 제어하고 상한 에너지 경계를 만족시키기 위한 직교 초기화 및 가중치 매개 조 규화, (ii) 층당 최소 에너지를 유지하기 위한 하한 잔차 연결, (iii) 에너지 경계를 보존하면서 비선형성/선형성의 균형을 맞추는 Shifted ReLU(SReLU) 활성화.
• 직교 제어, 잔차 및 활성화가 층 간 에너지를 경계 내에 유지하도록 하는 이론적 결과를 제공한다.
• 에너지 제약 설계를 기존 정규화, DropEdge 및 잔차 기술과 비교하여 원칙의 일반화 가능성을 보인다.

실험 결과

연구 질문

• RQ1 깊은 GNN의 아키텍처 설계 및 학습을 안내하는 이론적이고 일반화 가능한 원칙이 있는가?
• RQ2 과도한 평활화를 피하면서 다수의 층을 쌓아 최첨단 성능을 달성하는 깊은 GNN을 어떻게 설계할 수 있는가?
• RQ3 원칙에 기반한 에너지 제약 프레임워크가 기존 심층 GNN 기법들을 설명하고 통합할 수 있는가?
• RQ4 EGNN이 벤치마크 데이터셋에서 깊은 아키텍처로 안정적인 학습과 강력한 성능을 가능하게 하는가?

주요 결과

• EGNN은 특히 깊은 층(최대 64층)에서 벤치마크에서 최첨단 또는 경쟁력 있는 노드 분류 성능을 달성한다.
• 각 층의 Dirichlet 에너지가 학습된 하한 및 상한 안에 남아 제약 학습 원리를 검증한다.
• 직교 가중치 초기화 및 규화는 에너지 경계를 유지하고 깊은 학습을 가능하게 하는 데 중요하다.
• 하한 잔차 연결 및 SReLU 활성화는 에너지를 보존하고 학습 능력을 희생하지 않으면서 과도한 평활화를 방지하는 데 도움을 준다.
• EGNN은 특히 깊은 구성에서 Cora, Pubmed, Coauthor-Physics, 및 Ogbn-arxiv에서 여러 베이스라인을 상회한다.
• 무력화 연구는 성능과 에너지 안정성을 위해 각 구성 요소(직교 초기화, 하한 잔차, 및 SReLU)의 중요성을 보여준다.