[논문 리뷰] Graph Neural Networks with Adaptive Frequency Response Filter.

Yushun Dong, Kaize Ding외 3명|arXiv (Cornell University)|2021. 04. 26.

Advanced Graph Neural Networks참고 문헌 54인용 수 6

한 줄 요약

이 논문은 다층에 걸쳐 학습 가능한 가변 주파수 응답 필터를 적용하여 노드 표현에서 다양한 주파수 성분의 중요도를 동적으로 포착하는 새로운 그래프 신경망인 AdaGNN을 제안한다. 특성 채널과 계층 깊이에 따라 변화하는 필터 가중치를 학습함으로써 AdaGNN은 과도한 스무딩을 완화하고 표현력을 향상시켜 벤치마크 그래프 학습 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Graph Neural Networks have recently become a prevailing paradigm for various high-impact graph learning tasks. Existing efforts can be mainly categorized as spectral-based and spatial-based methods. The major challenge for the former is to find an appropriate graph filter to distill discriminative information from input signals for learning. Recently, attempts such as Graph Convolutional Network (GCN) leverage Chebyshev polynomial truncation to seek an approximation of graph filters and bridge these two families of methods. It has been shown in recent studies that GCN and its variants are essentially employing fixed low-pass filters to perform information denoising. Thus their learning capability is rather limited and may over-smooth node representations at deeper layers. To tackle these problems, we develop a novel graph neural network framework AdaGNN with a well-designed adaptive frequency response filter. At its core, AdaGNN leverages a simple but elegant trainable filter that spans across multiple layers to capture the varying importance of different frequency components for node representation learning. The inherent differences among different feature channels are also well captured by the filter. As such, it empowers AdaGNN with stronger expressiveness and naturally alleviates the over-smoothing problem. We empirically validate the effectiveness of the proposed framework on various benchmark datasets. Theoretical analysis is also provided to show the superiority of the proposed AdaGNN. The implementation of AdaGNN is available at \url{this https URL}.

연구 동기 및 목표

• 기존 스펙트럼 기반 GNN이 고정된 저통과 필터에 의존하는 한계를 해결하기 위해, 모델 표현력을 제한하고 깊은 아키텍처에서 과도한 스무딩을 유발하는 필터를 개선한다.
• 스펙트럼 및 스페이셜 GNN 방법 간 격차를 해소하기 위해 입력 신호의 주파수 특성과 특성 채널 특성에 따라 적응하는 학습 가능한 다중 계층 주파수 필터를 도입한다.
• 다양한 특성 채널에서 주파수 성분의 중요도 변화를 포착함으로써 노드 표현 학습을 향상시킨다.
• 이론적으로 탄탄하고 경험적으로 효과적인 GNN 프레임워크를 개발하여 깊은 네트워크에서 과도한 스무딩 문제를 자연스럽게 완화한다.

제안 방법

• 고정 필터(예: GCN에서 사용하는 것과 유사)를 대체하기 위해 다중 계층에서 작동하는 학습 가능한 주파수 응답 필터를 설계한다.
• 입력 신호의 주파수 구성과 특성 채널 특성에 따라 적응하는 학습 가능한 필터 파arameterization을 도입한다.
• 각 계층에서 필터 응답을 동적으로 조정하는 다중 계층 아키텍처를 활용하여 고주파 및 저주파 성분의 선택적 집합을 가능하게 한다.
• 비용이 많이 드는 고유값 분해를 피하기 위해 적응형 필터 가중치를 통한 그래프 컨볼루션의 단순화된 근사치를 활용한다.
• 채널별로 필터를 다양하게 설정함으로써 특성 간 상호작용의 차이를 포착하고 표현의 다양성을 향상시킨다.
• 이론적 분석을 통해 적응형 필터가 고정된 저통과 필터보다 더 뛰어난 스펙트럼 민감도와 일반화 성능을 제공함을 확인한다.

실험 결과

연구 질문

• RQ1 학습 가능한 가변 주파수 응답 필터는 고정 필터에 비해 그래프 신경망의 표현력을 향상시키는가?
• RQ2 가변 필터는 더 깊은 GNN 아키텍처에서 과도한 스무딩을 어떻게 완화하는가?
• RQ3 필터는 다양한 특성 채널에서 주파수 성분의 중요도 변화를 어느 정도 포착할 수 있는가?
• RQ4 제안된 AdaGNN 프레임워크는 기존의 스펙트럼 및 스페이셜 GNN보다 표준 그래프 벤치마크 데이터셋에서 더 뛰어난 성능을 달성하는가?

주요 결과

• AdaGNN은 다양한 벤치마크 그래프 학습 데이터셋에서 최신 기술 수준의 성능을 달성하여 뛰어난 일반화 능력을 보였다.
• 가변 필터는 고주파 정보를 선택적으로 유지함으로써 깊은 계층에서 과도한 스무딩을 크게 감소시켰다.
• 경험적 결과는 모델이 특성 채널과 계층 깊이에 따라 변화하는 의미 있는 주파수 응답을 학습함을 보여주었다.
• 이론적 분석을 통해 AdaGNN의 필터가 GCN 및 그 변종에서 사용하는 고정된 저통과 필터보다 더 뛰어난 스펙트럼 민감도를 제공함을 확인했다.
• 구현 코드는 공개되어 있어 재현성과 GNN의 적응형 스펙트럼 필터링 분야의 향후 연구를 가능하게 한다.