[논문 리뷰] ASWT-SGNN: Adaptive Spectral Wavelet Transform-based Self-Supervised Graph Neural Network

Ruyue Liu, Rong Yin외 2명|arXiv (Cornell University)|2023. 12. 10.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 고비용 고유값 분해를 피하기 위해 적응형 스펙트럴 웨이블릿 변환을 사용하여 스펙트럴 및 공간 도메인에서 민첩하고 국소화된 필터를 학습하는 자기지도 학습 그래프 신경망인 ASWT-SGNN을 제안한다. 웨이블릿 필터를 스펙트럴 적응 다항식으로 근사하고 대trastive 손실로 최적화함으로써, 계산 복잡도를 감소시키면서도 노드 분류에서 최신 기준 성능을 달성한다.

ABSTRACT

Graph Comparative Learning (GCL) is a self-supervised method that combines the advantages of Graph Convolutional Networks (GCNs) and comparative learning, making it promising for learning node representations. However, the GCN encoders used in these methods rely on the Fourier transform to learn fixed graph representations, which is inherently limited by the uncertainty principle involving spatial and spectral localization trade-offs. To overcome the inflexibility of existing methods and the computationally expensive eigen-decomposition and dense matrix multiplication, this paper proposes an Adaptive Spectral Wavelet Transform-based Self-Supervised Graph Neural Network (ASWT-SGNN). The proposed method employs spectral adaptive polynomials to approximate the filter function and optimize the wavelet using contrast loss. This design enables the creation of local filters in both spectral and spatial domains, allowing flexible aggregation of neighborhood information at various scales and facilitating controlled transformation between local and global information. Compared to existing methods, the proposed approach reduces computational complexity and addresses the limitation of graph convolutional neural networks, which are constrained by graph size and lack flexible control over the neighborhood aspect. Extensive experiments on eight benchmark datasets demonstrate that ASWT-SGNN accurately approximates the filter function in high-density spectral regions, avoiding costly eigen-decomposition. Furthermore, ASWT-SGNN achieves comparable performance to state-of-the-art models in node classification tasks.

연구 동기 및 목표

• 스펙트럴 GCN에서 고정된 전역 필터가 공간-스펙트럴 트레이드오프와 높은 계산 비용을 겪는 문제를 해결하기 위해.
• 기존 그래프 컨볼루션 네트워크가 다양한 그래프 크기에서 이웃 집합화를 제어하는 데 유연성이 떨어지는 문제를 해결하기 위해.
• 고유값 분해 없이도 스펙트럴 및 공간 도메인에서 학습 가능한 국소화된 필터링을 가능하게 하는 자기지도 학습 GNN 프레임워크를 개발하기 위해.
• 대규모 그래프에서 계산 효율성과 확장성을 유지하면서도 경쟁력 있는 노드 분류 성능을 달성하기 위해.

제안 방법

• 방법은 스펙트럴 적응 다항식을 사용하여 웨이블릿 필터 함수를 근사함으로써 스펙트럴 및 공간 도메인에서 국소화된 필터링을 가능하게 한다.
• 웨이블릿 스케일을 직접 최적화하기 위해 대비 학습을 사용함으로써 모델이 작업에 맞는 필터 응답을 학습할 수 있도록 한다.
• 그래프 네트워크의 깊은 메시지 전달 과정에서 과도한 스무딩을 완화하기 위해 잔차 연결을 도입한다.
• 웨이블릿 연산자의 다항식 근사를 통해 그래프 라플라시안의 고비용 고유값 분해를 피하는 방법을 사용한다.
• 모델은 그래프의 다중 증강된 시각에서 자기지도 대비 목표를 사용하여 엔드 투 엔드로 훈련된다.
• 이 프레임워크는 모든 메시지 전달 GNN 및 다항식 그래프 필터와 호환되어 광범위한 적용 가능성을 제공한다.

실험 결과

연구 질문

• RQ1 고유값 분해에 의존하지 않고도 자기지도 학습 GNN이 스펙트럴 및 공간 도메인에서 민감하고 학습 가능한 필터링을 달성할 수 있는가?
• RQ2 고정된 스펙트럴 또는 공간 컨볼루션과 비교할 때 적응형 스펙트럴 웨이블릿 필터링은 노드 표현 학습에 어떻게 향상되는가?
• RQ3 제안된 방법은 노드 분류 작업에서 성능을 유지하거나 향상시키면서도 계산 복잡도를 얼마나 줄일 수 있는가?
• RQ4 국소적 및 전역 정보 수집 간의 균형이 다양한 그래프 구조에서 모델 일반화에 어떻게 영향을 미치는가?

주요 결과

• ASWT-SGNN는 여덟 개의 벤치마크 데이터셋 중 여섯 개에서 노드 분류에서 최신 기준 성능을 달성하였으며, 최고의 자기지도 모델(MaskGAE)보다 평균 0.8% 높은 성능을 기록했다.
• 준지도 설정에서는 최고의 준지도 벤치마크(GCNII)보다 평균 3.1% 높고, MaskGAE보다 2.0% 높은 성능을 기록했다.
• GCN과 GWNN와 달리 깊이가 증가함에 따라 성능이 떨어지는 것을 보이지 않으며, 깊이가 증가해도 안정적인 성능 유지를 보였다.
• t-SNE 시각화 결과 ASWT-SGNN는 MA-GCL보다 더 분리 가능하고 클래스에 구분성이 높은 노드 임베딩을 생성하였으며, 더 명확한 클래스 경계를 보였다.
• 제거 실험 결과 최적의 성능는 α(잔차 연결 제어)와 β(웨이블릿 기저 기여도 제어)의 균형 잡힌 설정에서 달성됨을 확인하였다.
• 고밀도 스펙트럴 영역에서도 고유값 분해 없이도 필터 함수의 고정밀 근사를 달성하였으며, 이는 계산 비용을 크게 감소시켰다.