[논문 리뷰] Dirichlet Energy Enhancement of Graph Neural Networks by Framelet Augmentation

Jialin Chen, Yuelin Wang외 4명|arXiv (Cornell University)|2023. 11. 09.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 에너지 강화 컨볼루션(EEConv)을 제안하며, 이는 그래프 신경망(GNN)의 디리클레 에너지를 향상시키고 깊은 GNN에서의 과도한 스무딩 문제를 완화하기 위해 프레임릿 변환을 활용하는 새로운 그래프 신경망 레이어이다. 저역통과 및 고역통과 성분에 각각 양의 증분과 음의 증분을 적용함으로써, EEConv는 레이어 간에 디리클레 에너지를 엄격히 증가시키며, 이는 더 깊은 아키텍처가 성능을 유지할 수 있도록 해주며, 특히 이종성 그래프에서 뛰어난 성능을 기록한다. 32층 모델을 사용할 경우 최신 기술 수준의 결과를 달성한다.

ABSTRACT

Graph convolutions have been a pivotal element in learning graph representations. However, recursively aggregating neighboring information with graph convolutions leads to indistinguishable node features in deep layers, which is known as the over-smoothing issue. The performance of graph neural networks decays fast as the number of stacked layers increases, and the Dirichlet energy associated with the graph decreases to zero as well. In this work, we introduce a framelet system into the analysis of Dirichlet energy and take a multi-scale perspective to leverage the Dirichlet energy and alleviate the over-smoothing issue. Specifically, we develop a Framelet Augmentation strategy by adjusting the update rules with positive and negative increments for low-pass and high-passes respectively. Based on that, we design the Energy Enhanced Convolution (EEConv), which is an effective and practical operation that is proved to strictly enhance Dirichlet energy. From a message-passing perspective, EEConv inherits multi-hop aggregation property from the framelet transform and takes into account all hops in the multi-scale representation, which benefits the node classification tasks over heterophilous graphs. Experiments show that deep GNNs with EEConv achieve state-of-the-art performance over various node classification datasets, especially for heterophilous graphs, while also lifting the Dirichlet energy as the network goes deeper.

연구 동기 및 목표

• 깊은 그래프 신경망(GNN)에서 발생하는 과도한 스무딩 문제를 해결하기 위해, 노드 표현이 너무 많은 특징 스무딩으로 인해 구별하기 어려워지는 현상을 해결한다.
• 메시지 전파 과정에서 디리클레 에너지 향상을 이론적으로 보장함으로써, 잔차 연결과 같은 경험적 기법의 한계를 극복한다.
• 프레임릿 시스템을 활용해 다중 척도 그래프 표현을 탐색함으로써, 그래프 신호의 저주파 및 고주파 성분을 더 잘 포착하고자 한다.
• 고도의 디리클레 에너지를 유지할 수 있는 실용적이고 스택이 가능한 GNN 레이어(EEConv)를 설계하여, 이종성 그래프 벤치마크에서의 성능 향상을 도모한다.

제안 방법

• 이 방법은 그래프 신호를 하나의 저역통과 성분과 두 개의 고역통과 성분으로 분해함으로써, 노드 특징의 다중 척도 분석을 가능하게 한다.
• 프레임릿 증강은 인접 행렬에 저역통과 성분에 양의 증분과 고역통과 성분에 음의 증분을 더하여 디리클레 에너지를 향상시킨다.
• 이 증강 전략 하에서 디리클레 에너지가 엄격히 증가함을 증명하였으며, 이는 깊은 네트워크에서 에너지 안정성을 보장한다.
• 프레임릿 계수는 원래 그래프 크기로 재구성되며, 비선형 활성화 함수를 통과하여 EEConv 레이어를 형성한다.
• EEConv 레이어는 프레임릿 변환에서 유래한 다단계 집합 성질을 물려받아, 모든 단계를 아우르는 장거리 의존성을 포착한다.
• 이 방법은 열린 맨폴드의 열 확산을 포함한 다른 라플라시안 기반 메시지 전달 모델로도 확장 가능하다.

실험 결과

연구 질문

• RQ1 프레임릿 기반 다중 척도 표현은 깊은 GNN에서 디리클레 에너지를 효과적으로 향상시킬 수 있는가? 이는 과도한 스무딩 문제를 완화하는 데 기여하는가?
• RQ2 제안된 프레임릿 증강 전략은 메시지 전파 과정에서 디리클레 에너지가 엄격히 증가함을 이론적으로 보장하는가?
• RQ3 저역통과 및 고역통과 성분 간의 균형은 이종성 그래프 환경에서 노드의 구별 가능성에 어떤 영향을 미치는가?
• RQ4 EEConv는 스택된 레이어 수가 증가함에 따라 성능을 유지하거나 향상시킬 수 있는가? 특히 기존 GCN의 깊이 한계를 초월할 때에도 마찬가지인가?

주요 결과

• 32층의 EE-UFG는 Chameleon 및 Cornell와 같은 이종성 데이터셋에서 기존의 모든 베이스라인을 능가하는 최신 기술 수준의 성능을 기록한다.
• EE-UFG에서는 레이어 간에 디리클레 에너지가 높고 안정적으로 유지되는 반면, EGNN와 같은 베이스라인은 에너지 감쇠와 불안정성을 보인다.
• 프레임릿 증강은 저역통과 성분에 양의 증분, 고역통과 성분에 음의 증분을 조절하여 디리클레 에너지를 성공적으로 향상시켰다.
• 모델은 깊이에 따른 성능 안정성과 확장성 면에서 뛰어난 성능을 보이며, 일반적으로 깊은 GNN에서 관찰되는 성능 저하를 지연시켰다.
• 실험 결과는 고주파 성분이 이종성 그래프에서 매우 중요하며, EEConv가 다중 척도 학습을 통해 이 기여도를 효과적으로 유지함을 확인했다.