[논문 리뷰] Beyond Low-frequency Information in Graph Convolutional Networks

Deyu Bo, Xiao Wang외 2명|arXiv (Cornell University)|2021. 01. 04.

Advanced Graph Neural Networks인용 수 22

한 줄 요약

이 논문은 주어진 노드 특징을 저주파, 고주파 및 원본 특징으로 적응적으로 통합하는 자기게이팅 메커니즘을 통해 노드 표현 학습을 향상시키는 새로운 공간 GNN인 주파수 적응 그래프 컨볼루션 네트워크(FAGCN)를 제안한다. FAGCN은 주파수 인식 메시지 전파를 통해 과도한 스무딩을 완화하고 적응성을 향상시켜 다양한 실세계 그래프, 특히 이질적인 네트워크에서 최신 기술보다 뛰어난 성능을 발휘한다.

ABSTRACT

Graph neural networks (GNNs) have been proven to be effective in various network-related tasks. Most existing GNNs usually exploit the low-frequency signals of node features, which gives rise to one fundamental question: is the low-frequency information all we need in the real world applications? In this paper, we first present an experimental investigation assessing the roles of low-frequency and high-frequency signals, where the results clearly show that exploring low-frequency signal only is distant from learning an effective node representation in different scenarios. How can we adaptively learn more information beyond low-frequency information in GNNs? A well-informed answer can help GNNs enhance the adaptability. We tackle this challenge and propose a novel Frequency Adaptation Graph Convolutional Networks (FAGCN) with a self-gating mechanism, which can adaptively integrate different signals in the process of message passing. For a deeper understanding, we theoretically analyze the roles of low-frequency signals and high-frequency signals on learning node representations, which further explains why FAGCN can perform well on different types of networks. Extensive experiments on six real-world networks validate that FAGCN not only alleviates the over-smoothing problem, but also has advantages over the state-of-the-arts.

연구 동기 및 목표

• 기존의 저통과 필터링을 초월하여 그래프 신경망에서 저주파 및 고주파 신호의 역할을 탐구하는 것.
• 기존 GNN 모델이 저주파 정보에만 의존하는 한계를 해결하여 이질적인 네트워크에서의 성능 저하 문제를 해결하는 것.
• 네트워크의 이질성에 대한 사전 지식 없이도 다수의 주파수 성분을 적응적으로 통합할 수 있는 모델을 설계하는 것.
• 기존 GNN의 일반화로서 FAGCN의 표현 능력을 이론적으로 정당화하는 것.
• 이질적 및 이질성이 있는 네트워크를 포함한 다양한 실세계 그래프 데이터셋에서 FAGCN의 우수성을 검증하는 것.

제안 방법

• FAGCN은 그래프 신호 처리를 활용하여 원본 노드 특징을 저주파 및 고주파 성분으로 분해하는 향상된 저통과 및 고통과 필터를 정의한다.
• 메시지 전파 중에 학습된 어텐션 가중치에 기반해 자기게이팅 메커니즘이 저주파 신호, 고주파 신호 및 원본 특징을 동적으로 조합한다.
• 기존 GNN의 일반화로 설계되어 노드 표현 간의 거리를 조절함으로써 과도한 스무딩을 방지할 수 있도록 한다.
• 이론적 분석을 통해 FAGCN이 표현 유사성을 자유롭게 조절할 수 있음을 증명하여, 이질적 및 이질적인 그래프 양쪽 모두에서 더 나은 성능을 달성할 수 있음을 입증한다.
• 의사결정 기반의 공간 GNN 프레임워크에 구현되어 해석 가능성은 유지하면서도 유연성을 향상시킨다.
• 노드 분류를 위해 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련되며, 사전 구조적 가정이 필요 없다.

실험 결과

연구 질문

• RQ1 GNN에서 효과적인 노드 표현 학습을 위해 저주파 및 고주파 신호는 어떤 역할을 하는가?
• RQ2 기존 GNN이 저주파 신호에만 의존하는 이유로 인해 이질적인 네트워크에서 성능이 떨어지는 이유는 무엇인가?
• RQ3 다양한 유형의 네트워크에서 일반화를 향상시키기 위해 GNN 모델이 다수의 주파수 성분을 적응적으로 통합할 수 있는가?
• RQ4 FAGCN의 자기게이팅 메커니즘이 고정된 필터링 전략에 비해 더 나은 표현 학습을 어떻게 가능하게 하는가?
• RQ5 FAGCN은 깊은 GNN에서 과도한 스무딩 문제를 어느 정도 완화하는가?

주요 결과

• 재정의된 레이블을 가진 Chameleon 및 Squirrel 데이터셋(Cham-3, Squi-3)에서 FAGCN은 각각 76.1% 및 66.7%의 분류 정확도를 기록하여 모든 베이스라인을 초월한다.
• 원본 Cham-5 및 Squi-5 분할에서 FAGCN은 여전히 61.7% 및 39.7%의 정확도를 기록하여 GCN(59.8% 및 36.9%)과 MLP(46.4% 및 29.7%)보다 유의미하게 뛰어나다.
• 실험 결과는 이질적인 네트워크에서 고주파 신호가 저주파 신호보다 더 효과적임을 보여주며, 저통과 필터링이 최적이라는 가정에 도전한다.
• FAGCN은 메시지 전파 중에 다양한 주파수 성분의 기여도를 동적으로 제어함으로써 과도한 스무딩을 완화한다.
• 이론적 분석을 통해 FAGCN이 대부분의 기존 GNN을 일반화할 수 있으며, 노드 표현 간의 유사성을 탄력적으로 조절할 수 있음을 확인한다.
• FAGCN은 이질적 및 이질적인 그래프를 포함한 여섯 개의 실세계 네트워크에서 일관된 우수성을 보였다.