[논문 리뷰] Unifying over-smoothing and over-squashing in graph neural networks: A physics informed approach and beyond

Zhiqi Shao, Dai Shi외 4명|arXiv (Cornell University)|2023. 09. 06.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 그래프 열 방정식의 시간 방향을 뒤집어 고역통과 필터링 효과를 유도함으로써 과도한 스무딩과 과도한 압축을 통합적으로 완화하는 물리 기반 그래프 신경망인 MHKG 및 그 일반화된 형태인 G-MHKG를 제안한다. 이 방법은 다중 척도 열 핵심 필터링 함수를 사용하여 노드 특징의 스무딩과 샤프닝을 균형 있게 조절하며, 과도한 스무딩과 과도한 압축 사이의 근본적인 상충 관계를 드러낸다. G-MHKG는 동형성 및 이형성 그래프 모두에서 최신 기준 성능을 달성한다.

ABSTRACT

Graph Neural Networks (GNNs) have emerged as one of the leading approaches for machine learning on graph-structured data. Despite their great success, critical computational challenges such as over-smoothing, over-squashing, and limited expressive power continue to impact the performance of GNNs. In this study, inspired from the time-reversal principle commonly utilized in classical and quantum physics, we reverse the time direction of the graph heat equation. The resulted reversing process yields a class of high pass filtering functions that enhance the sharpness of graph node features. Leveraging this concept, we introduce the Multi-Scaled Heat Kernel based GNN (MHKG) by amalgamating diverse filtering functions' effects on node features. To explore more flexible filtering conditions, we further generalize MHKG into a model termed G-MHKG and thoroughly show the roles of each element in controlling over-smoothing, over-squashing and expressive power. Notably, we illustrate that all aforementioned issues can be characterized and analyzed via the properties of the filtering functions, and uncover a trade-off between over-smoothing and over-squashing: enhancing node feature sharpness will make model suffer more from over-squashing, and vice versa. Furthermore, we manipulate the time again to show how G-MHKG can handle both two issues under mild conditions. Our conclusive experiments highlight the effectiveness of proposed models. It surpasses several GNN baseline models in performance across graph datasets characterized by both homophily and heterophily.

연구 동기 및 목표

• GNN에서 과도한 스무딩, 과도한 압축, 제한된 표현 능력 문제를 동시에 다루는 장기적인 과제를 해결한다.
• 물리학에서의 시간 반전 개념을 영감으로 삼아 과도한 스무딩과 과도한 압축 간의 본질적 관계를 탐구한다.
• 특징 스무딩, 위상적 압축, 표현 능력에 대한 체계적인 제어가 가능한 탄력적이고 분석 가능한 GNN 프레임워크를 개발한다.
• 과도한 스무딩과 과도한 압축이 스펙트럼 도메인에서 필터링 함수 성질을 통해 본질적으로 연결되어 있음을 입증한다.

제안 방법

• 그래프 열 방정식의 시간 방향을 뒤집어 고역통과 필터링 작용을 갖는 시간 반전 과정을 생성함으로써 특징의 날카움을 향상시킨다.
• 열 핵심과 역열 핵심에서 유도된 저역통과(스무딩) 및 고역통과(샤프닝) 필터링 함수를 조합하여 다중 척도 열 핵심 GNN(MHKG)을 구축한다.
• 모델 구성 요소(학습 가능한 파rameter 및 스펙트럼 필터링 행렬 포함)에 대한 제어 기능을 제공하기 위해 MHKG를 G-MHKG로 일반화한다.
• 그래프 라플라시안의 스펙트럼 분해를 활용해 필터링 연산을 고유기저 기반으로 표현함으로써 에너지 동역학과 특징 전파에 대한 분석적 제어를 가능하게 한다.
• G-MHKG에서 시간 조작 전략을 도입하여 이형성 그래프에서 과도한 스무딩과 과도한 압축을 동시에 효과적으로 처리한다.
• 그래프 프레임릿의 타이트함 원리를 활용해 G-MHKG-F를 비타이트(variant)로 해석함으로써 다양한 그래프 유형에서 견고한 성능을 달성한다.

Figure 1 : Top: The evolution of the node feature of diffusion (smoothing) process (i.e., from distinct features to over-smoothing). Bottom: the reverse diffusion (sharpening) process (i.e., from nearly identical to distinct node features).

실험 결과

연구 질문

• RQ1 물리학 원리에서 유도된 방법을 사용해 과도한 스무딩과 과도한 압축을 단일 이론적 프레임워크로 통합할 수 있는가?
• RQ2 과도한 스무딩과 과도한 압축 간의 내재적 관계는 무엇이며, 필터링 함수 성질을 통해 특성화할 수 있는가?
• RQ3 단일 GNN 아키텍처가 동시에 과도한 스무딩과 과도한 압축을 효과적으로 완화할 수 있는가? 어떤 조건에서 가능한가?
• RQ4 다양한 필터링 함수(예: 사인파형, 지수형)가 동형성 및 이형성 그래프에서 모델 성능에 어떤 영향을 미치는가?
• RQ5 실제 그래프 학습 작업에서 프레임릿 기반 필터링의 타이트함은 어느 정도 중요할까?

주요 결과

• 제안된 G-MHKG 모델은 동형성 그래프(Cora, Citeseer, PubMed) 및 이형성 그래프(Cornell, Texas, Wisconsin) 벤치마크에서 최신 기준 성능을 달성한다.
• G-MHKG-F는 Cornell에서 88.2%의 정확도, Texas에서 86.1%, Wisconsin에서 84.7%를 기록하여 GAT, GIN, UFG와 같은 베이스라인 모델을 능가한다.
• 과도한 스무딩과 과도한 압축 사이에 근본적인 상충 관계가 드러났다: 고역통과 필터링을 통한 특징 날카움 향상은 과도한 압축을 증가시키며, 반대로 그 반대도 마찬가지다.
• G-MHKG에서의 시간 조작 전략은 이형성 그래프에서 두 문제를 효과적으로 다루지만, 동형성 그래프에서는 이론적으로 동시에 완전히 해결하는 것이 불가능하다.
• MHKG-I는 음수 고유값 스케일링으로 인한 정정의 부재로 인해 비정정 행렬을 유도하여 성능이 열 劣하므로, 적절한 필터링 함수 설계의 중요성을 시사한다.
• G-MHKG-F는 이형성 그래프에서 타이트한 그래프 프레임릿(UFG)과 비교해도 유사하거나 더 우수한 성능을 보이며, 실용적 성능에서는 타이트함이 필수적이지 않음을 시사한다.

Figure 2 : The figure on the left represents different types of HFD filtering outcomes and the trade-off between two issues. One can check that to induce more sharpening (filtering function from bottom to top), the model will suffer more from OSQ. The figure on the right illustrates the situation de