[논문 리뷰] Understanding convolution on graphs via energies

Francesco Di Giovanni, James Rowbottom외 3명|arXiv (Cornell University)|2022. 06. 22.

Advanced Graph Neural Networks인용 수 12

한 줄 요약

이 논문은 대칭 가중치 행렬을 통해 구동되는 표준 그래프 컨볼루션 모델이 항상 고주파 성분을 스무딩하는 것이 아니라, 일반화된 에너지 함수를 최소화하는 기울기 흐름으로 작용함을 보여주어 고주파 성분을 강화할 수 있음을 입증한다. 주요 기여는 이러한 모델이 과도한 스무딩을 피하고 오히려 과도한 샤프닝을 보일 수 있음을 증명하며, 다입자 에너지 최소화를 통한 그래프 신경망의 물리적 해석을 제안한다는 데 있다.

ABSTRACT

Graph Neural Networks (GNNs) typically operate by message-passing, where the state of a node is updated based on the information received from its neighbours. Most message-passing models act as graph convolutions, where features are mixed by a shared, linear transformation before being propagated over the edges. On node-classification tasks, graph convolutions have been shown to suffer from two limitations: poor performance on heterophilic graphs, and over-smoothing. It is common belief that both phenomena occur because such models behave as low-pass filters, meaning that the Dirichlet energy of the features decreases along the layers incurring a smoothing effect that ultimately makes features no longer distinguishable. In this work, we rigorously prove that simple graph-convolutional models can actually enhance high frequencies and even lead to an asymptotic behaviour we refer to as over-sharpening, opposite to over-smoothing. We do so by showing that linear graph convolutions with symmetric weights minimize a multi-particle energy that generalizes the Dirichlet energy; in this setting, the weight matrices induce edge-wise attraction (repulsion) through their positive (negative) eigenvalues, thereby controlling whether the features are being smoothed or sharpened. We also extend the analysis to non-linear GNNs, and demonstrate that some existing time-continuous GNNs are instead always dominated by the low frequencies. Finally, we validate our theoretical findings through ablations and real-world experiments.

연구 동기 및 목표

• 표준 그래프 컨볼루션 모델이 본질적으로 특징을 스무딩하는지, 아니면 고주파 성분을 강화할 수 있는지 조사하기.
• 깊은 네트워크에서 항상 저역통과 필터로 작용하여 과도한 스무딩을 유도한다는 일반적인 믿음을 도전하기.
• 가중치 행렬의 고유값을 통한 인력과 철력 작용을 가능하게 하는 에너지 함수에 의해 지배되는 다입자 역학으로서 그래프 컨볼루션의 물리적 해석 제공하기.
• 에너지 최소화 및 주파수 응답 측면에서 선형 및 비선형 GNN의 점근적 행동 분석하기.
• 이론적 결과를 이질적 및 동질적 그래프에서의 추론 실험과 추론 분석을 통해 검증하기.

제안 방법

• 그래프 컨볼루션의 역학을 기술하는 일반화된 에너지 함수 $\mathcal{E}_{\theta}$를 제안하며, 이는 딜레르트 에너지의 일반화이자 그래프 컨볼루션의 역학을 포괄한다.
• 대칭 가중치 행렬을 갖는 선형 그래프 컨볼루션은 $\mathcal{E}_{\theta}$를 최소화하는 기울기 흐름임을 보이며, 모델 역학과 에너지 최소화를 연결한다.
• 가중치 행렬의 고유값의 역할 분석: 양의 고유값은 인력(스무딩)을 유도하고, 음의 고유값은 철력(샤프닝)을 유도한다.
• 비선형 GNN로의 분석 확장: 시간 연속 GNN은 제안된 기울기 흐름 모델과 달리 저주파 성분에 의해 지배됨을 보여준다.
• 대칭 가중치 행렬과 잔차 연결을 기반으로 한 GRAFF 및 GRAFF$_{NL}$ 모델을 도입하여 이질적 그래프에서의 성능 향상을 검증한다.
• 실제 데이터셋에서 스펙트럼 분석과 추론 실험을 통해 에너지 감쇠 및 특징 강화 역학을 검증한다.

실험 결과

연구 질문

• RQ1 표준 그래프 컨볼루션은 항상 특징을 스무딩하는 것이 아니라 고주파 성분을 강화할 수 있는가?
• RQ2 그래프 컨볼루션은 항상 저역통과 필터로 작용하는가, 아니면 깊은 아키텍처에서 과도한 샤프닝을 보일 수 있는가?
• RQ3 디리클레 에너지가 GNN 행동을 충분히 기술하는가, 아니면 더 일반적인 에너지 함수가 특징 진화를 더 잘 설명하는가?
• RQ4 그래프 컨볼루션에서 대칭 가중치 행렬이 이질적 그래프에서 성능 향상에 기여하는 철력 작용을 유도할 수 있는가?
• RQ5 비선형 및 시간 연속 GNN은 주파수 응답과 에너지 역학 측면에서 어떻게 비교되는가?

주요 결과

• 대칭 가중치를 갖는 선형 그래프 컨볼루션은 일반화된 에너지 $\mathcal{E}_{\theta}$를 최소화하며, 음의 고유값이 존재할 경우 특징의 샤프닝을 유도할 수 있다.
• 이론적 분석을 통해 이러한 모델이 고주파 성분을 강화하고 과도한 스무딩을 피할 수 있음을 증명하였으며, 점점 더 뚜렷한 주파수 성분을 보이는 점근적 행동을 '과도한 샤프닝'이라 명명하였다.
• 실증 결과로 GRAFF 및 GRAFF$_{NL}$이 Chameleon 및 Squirrel과 같은 이질적 그래프 데이터셋에서 베이스라인 모델을 능가하며, 각각 68.99% 및 52.48%의 테스트 정확도를 달성하였다.
• Cora 데이터셋에서는 딜레르트 에너지가 0.11 증가했음에도 불구하고 87.4%의 테스트 정확도를 기록하여 스무딩 동역학이 아님을 시사하였다.
• 스펙트럼 분석을 통해 GRAFF의 학습된 가중치 행렬이 인력과 철력 작용을 가능하게 하는 고유값 분포를 가지며, 고주파 성분의 유지에 기여함을 확인하였다.
• 본 연구는 대칭 가중치 행렬이 존재하고 에너지 최소화 역학을 유도할 경우, 깊은 GNN에서도 과도한 스무딩이 필수적으로 발생하지 않음을 입증하였다.