[논문 리뷰] Overcoming Oversmoothness in Graph Convolutional Networks via Hybrid Scattering Networks

Frederik Wenkel, Yimeng Min외 3명|arXiv (Cornell University)|2022. 01. 22.

Advanced Graph Neural Networks인용 수 8

한 줄 요약

이 논문은 전통적인 GCN 필터와 기하학적 산란에서 유도된 밴드패스 필터를 결합한 하이브리드 그래프 신경망 프레임워크를 제안하여 GCN에서 발생하는 과도한 스무딩과 부족한 영향 범위 문제를 해결한다. 산란 기반의 고주파 특징 추출과 주의 메커니즘을 통합함으로써 노드 수준 및 그래프 수준의 표현 학습을 향상시켜, 특히 저동형성 설정에서 노드 분류 및 회귀 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Geometric deep learning has made great strides towards generalizing the design of structure-aware neural networks from traditional domains to non-Euclidean ones, giving rise to graph neural networks (GNN) that can be applied to graph-structured data arising in, e.g., social networks, biochemistry, and material science. Graph convolutional networks (GCNs) in particular, inspired by their Euclidean counterparts, have been successful in processing graph data by extracting structure-aware features. However, current GNN models are often constrained by various phenomena that limit their expressive power and ability to generalize to more complex graph datasets. Most models essentially rely on low-pass filtering of graph signals via local averaging operations, leading to oversmoothing. Moreover, to avoid severe oversmoothing, most popular GCN-style networks tend to be shallow, with narrow receptive fields, leading to underreaching. Here, we propose a hybrid GNN framework that combines traditional GCN filters with band-pass filters defined via geometric scattering. We further introduce an attention framework that allows the model to locally attend over combined information from different filters at the node level. Our theoretical results establish the complementary benefits of the scattering filters to leverage structural information from the graph, while our experiments show the benefits of our method on various learning tasks.

연구 동기 및 목표

• 다수의 레이어를 거치면서 과도한 저통과 필터링으로 인해 노드 표현이 구분 불가능해지는 GCN의 과도한 스무딩 문제를 해결하기 위해.
• 로컬 수신 영역을 초월한 장거리 상관관계와 전반적인 그래프 구조를 포착할 수 있도록 하여 부족한 영향 범위 문제를 완화하기 위해.
• 기하학적 산란을 통한 밴드패스 필터링 통합을 통해 표현 능력을 향상시키고, 고주파 구조적 정보를 캡처하기 위해.
• GCN 스타일의 저통과 필터와 산란 기반의 밴드패스 필터를 결합한 하이브리드 아키텍처를 개발하여 노드 수준 및 그래프 수준의 표현 학습을 향상시키기 위해.
• 제안된 프레임워크의 효과성을 半-초기 학습 노드 분류 및 그래프 수준의 회귀 작업에서 검증하기 위해.

제안 방법

• 표준 GCN 필터와 기하학적 산란 필터를 결합한 하이브리드 GNN 프레임워크를 도입하며, 이는 그래프 웨이블릿과 점별 비선형성의 반복적 캐스케이드를 통해 구성된다.
• GCN 및 산란 필터에서 유도된 병합된 특징에 대해 노드 수준의 주의 메커니즘을 도입하여 저주파 및 고주파 정보의 적응적 융합을 가능하게 한다.
• 기하학적 산란 변환을 사용하여 그래프 구조적 위상에 민감한 구조적 특징을 추출하며, 특히 장거리 상관관계와 고주파 패턴을 캡처하는 데 효과적이다.
• 이중 단계 아키텍처를 적용한다: 첫 번째로 산란 레이어가 다중 척도의 구조적 특징을 추출하고, 두 번째로 그래프 잔여 합성곱 레이어가 학습 가능한 주의 메커니즘을 통해 정보를 집계한다.
• 그래프 수준의 분류를 위해 Set2Set 풀링 레이어와 MLP를 사용하고, 회귀 작업을 위해 평균 풀링과 MLP를 사용한다.
• 비교 평가를 위해 산란 전용 모델(Sc-only)과 표준 GCN/GAT 모델을 포함한 아블레이션 기반 모델을 제공한다.

실험 결과

연구 질문

• RQ1 GCN 스타일의 저통과 필터와 산란 기반의 밴드패스 필터를 조합함으로써 그래프 신경망 내 표현 학습을 향상시킬 수 있는가?
• RQ2 제안된 하이브리드 아키텍처는 노드 분류 작업에서 성능을 유지하거나 향상시키면서도 과도한 스무딩을 효과적으로 줄일 수 있는가?
• RQ3 다양한 필터 유형에 대한 주의 메커니즘이 저동형성 그래프 설정에서 특히 모델 일반화 능력을 향상시키는 데 얼마나 기여하는가?
• RQ4 그래프 수준의 분류 및 회귀 작업에서 하이브리드 산란-GNN 프레임워크는 최신 기술 수준의 모델들과 비교해 어떻게 성능을 내는가?
• RQ5 기하학적 산란 필터는 GCN이 단독으로 포착하지 못하는 보완적인 구조적 정보를 제공할 수 있는가?

주요 결과

• Sc-GCN 모델은 COLLAB에서 70.4%의 테스트 정확도를 기록했고, IMDB-BINARY에서는 76.0%를 달성하여 GCN(59.2% 및 71.0%)과 GAT(52.3% 및 63.2%)를 모두 능가함으로써 과도한 스무딩에 대한 강건성을 입증했다.
• GSAN 모델은 ZINC에서 43.0의 테스트 오차와 리포필리시티에서 1.02를 기록하여 GCN(46.9 및 1.05)과 GAT(46.3 및 0.950)를 초월하여 그래프 수준의 회귀에서 뛰어난 성능을 보였다.
• 산란 전용 기반 모델(Sc-only)은 COLLAB에서 64.0%, IMDB-BINARY에서는 71.0%의 성능을 기록하여 산란 특징 자체만으로도 효과적이지만 하이브리드 접근 방식보다는 낮은 성능을 보였다.
• 저동형성 설정에서 하이브리드 GSAN 프레임워크는 모든 기반 모델을 압도적으로 능가하여 장거리 상관관계와 구조적 복잡성을 효과적으로 포착할 수 있음을 시사했다.
• 이론적 분석을 통해 노드 특징가 구조적 정보를 포함할 경우 기하학적 산란 필터가 표준 GCN 필터보다 그래프 위상에 더 민감함을 확인했다.
• 실증 결과는 GCN과 산란 특징을 병합한 주의 메커니즘이 복잡한 비동형성 그래프에서 더 나은 일반화 능력을 보임을 보여주었다.