[논문 리뷰] Bridging the Gap between Spatial and Spectral Domains: A Survey on Graph Neural Networks

Zhiqian Chen, Fanglan Chen외 8명|arXiv (Cornell University)|2020. 02. 27.

Advanced Graph Neural Networks참고 문헌 70인용 수 34

한 줄 요약

논문은 공간 기반 GNN과 스펙트럼 기반 GNN을 연결하는 이론 중심의 통일 프레임워크를 제시하고, 기존 방법들을 도메인별로 세 하위 분류로 정리하며, 주파수 응답과 집계 관점의 연결을 통해 그 메커니즘을 연결한다.

ABSTRACT

Deep learning's success has been widely recognized in a variety of machine learning tasks, including image classification, audio recognition, and natural language processing. As an extension of deep learning beyond these domains, graph neural networks (GNNs) are designed to handle the non-Euclidean graph-structure which is intractable to previous deep learning techniques. Existing GNNs are presented using various techniques, making direct comparison and cross-reference more complex. Although existing studies categorize GNNs into spatial-based and spectral-based techniques, there hasn't been a thorough examination of their relationship. To close this gap, this study presents a single framework that systematically incorporates most GNNs. We organize existing GNNs into spatial and spectral domains, as well as expose the connections within each domain. A review of spectral graph theory and approximation theory builds a strong relationship across the spatial and spectral domains in further investigation.

연구 동기 및 목표

• 공간 도메인 GNN과 스펙트럼 도메인 GNN을 연결하는 통합 프레임워크를 제공한다.
• 공간 기반 방법은 노드 집계 유형으로, 스펙트럼 기반 방법은 주파수 응답 유형으로 분류한다.
• 도메인 내외의 관계를 보여주고, 전파(paradigm)와 필터링 패러다임 간의 등가를 확립한다.
• 현대 GNN의 진전(예: 과도한 평활화, 확장성)이 제안된 프레임워크에 어떻게 부합하는지 분석한다.

제안 방법

• 공간 도메인에서의 노드 집계 f(G)X를 스펙트럴 도메인에서 적용되는 주파수 응답 g(Λ)와 연결하는 그래프 신경망 프레임워크를 정의한다.
• 공간 방법을 선형/다항식/유리 전파(A-1/A-2/A-3)로, 스펙트럼 방법을 선형/다항식/유리 근사(B-1/B-2/B-3)로 분류한다.
• A-0와 B-0 간의 등가 관계를 확립하고, 하위 범주 간의 일반화/특수화 연결을 보인다.
• 대표 모델(GCN, GraphSAGE, GIN, ChebNet, DCNN, SGC, ARMA, PPNP, LP)을 통일 프레임워크로 번역하여 대응 관계를 설명한다.
• 시간 복잡도와 표현력을 논의하고, 샘플링 및 과도한 평활화 기법을 프레임워크와 연관시킨다.

실험 결과

연구 질문

• RQ1 공간 기반 GNN과 스펙트럼 기반 GNN을 하나의 이론 프레임워크 아래 어떻게 통합할 수 있는가?
• RQ2 일반적인 공간 전파 스킴과 스펙트럴 필터링 접근법 간의 정확한 대응 및 등가성은 무엇인가?
• RQ3 확장성과 과도한 평활화를 위한 현대 GNN 기법이 통합 프레임워크에 어떻게 들어맞는가?
• RQ4 통합된 범주 간 표현력과 계산 효율성 간의 트레이드오프는 무엇인가?
• RQ5 역 전파와 유리 근사는 표준 이웃 집계의 일반화로 해석될 수 있는가?

주요 결과

• 통합 분류는 공간(A-1/A-2/A-3)과 스펙트럴(B-1/B-2/B-3) 방법을 매핑하고 집계와 주파수 응답 간의 명시적 연결을 보여준다.
• 다수의 고전 GNN(GCN, GraphSAGE, GIN 등)은 선형 전파 범주 내의 특정 인스턴스에 대응하며 명확한 스펙트럴 등가를 가진다.
• 다항식 및 유리 전파는 계산 증가의 대가로 더 높은 표현력을 제공하며, 유리 방법이 가장 강한 근사 능력을 제공한다.
• 프레임워크는 과도한 평활화 및 스케일링 이슈가 제안된 A-0/B-0 프레임워크의 특수 사례이며 근사 이론으로 분석할 수 있음을 보여준다.
• 샘플링 방법(랜덤 워크, 부분 그래프 샘플링) 및 확장성을 위한 심층 아키텍처는 A-1/A-2 범주에 정합하며, 샘플링은 인용된 논의에서 A-3 또는 B-3에 속하지 않는다.
• 표현력과 효율성 사이에는 트레이드오프가 있다: A-3/B-3은 어려운 신호에서 더 빨리 수렴하지만 더 높은 오버헤드를 발생시킨다.