[논문 리뷰] Graph Wavelet Neural Network

Bingbing Xu, Huawei Shen외 3명|arXiv (Cornell University)|2019. 04. 12.

Advanced Graph Neural Networks인용 수 78

한 줄 요약

GWNN은 그래프 푸리에 기반 컨볼루션을 그래프 웨이브렛 변환으로 대체하여, 효율적이고 희소하며 국소화된 그래프 컨볼루션을 가능하게 하여 Cora, Citeseer, Pubmed에서 준감시 노드 분류를 향상시킨다.

ABSTRACT

We present graph wavelet neural network (GWNN), a novel graph convolutional neural network (CNN), leveraging graph wavelet transform to address the shortcomings of previous spectral graph CNN methods that depend on graph Fourier transform. Different from graph Fourier transform, graph wavelet transform can be obtained via a fast algorithm without requiring matrix eigendecomposition with high computational cost. Moreover, graph wavelets are sparse and localized in vertex domain, offering high efficiency and good interpretability for graph convolution. The proposed GWNN significantly outperforms previous spectral graph CNNs in the task of graph-based semi-supervised classification on three benchmark datasets: Cora, Citeseer and Pubmed.

연구 동기 및 목표

• 비유클리드 데이터에서의 그래프 컨볼루션을 고무하고 그래프 푸리에 기반 방법의 한계를 해결한다.
• 그래프 컨볼루션의 기초로 그래프 웨이브렛 변환을 도입한다.
• 매개변수 복잡도를 줄인 효율적인 GWNN 아키텍처를 개발한다.
• 표준 준감시 노드 분류 벤치마크(Cora, Citeseer, Pubmed)에서 GWNN의 효과를 보여준다.

제안 방법

• 스케일링 행렬 G_s와 웨이브렛 psi_s를 가진 라플라시안 고유벡터를 사용하여 그래프 웨이브렛 변환을 정의한다.
• 그래프 컨볼루션을 x *G y = psi_s ((psi_s^{-1} y) ⊙ (psi_s^{-1} x))로 형식화한다.
• 특징 변환(X^m' = X^m W)을 그래프 컨볼루션과 분리하여 매개변수 효율적으로 설계된 두 층 GWNN을 제안한다.
• 스펙트럴 도메인에서 대각 필터 행렬 F^m를 사용하고 출력에 대해 비선형 활성화 h(ReLU/softmax)을 사용한다.
• 레이블이 지정된 노드에 대한 교차 엔트로피 손실로 학습하고 경사하강법으로 최적화한다.
• psi_s와 psi_s^{-1}의 희소성 및 국소성이 효율적이고 해석 가능한 컨볼루션을 낳음을 보인다.

실험 결과

연구 질문

• RQ1 GWNN이 표준 그래프 기반 준감시 분류 데이터셋에서 전통적 스펙트럴 CNN보다 성능이 더 우수한가?
• RQ2 그래프 컨볼루션에서 특징 변환을 분리하는 것이 매개변수 효율성과 정확도에 어떤 영향을 미치는가?
• RQ3 그래프 웨이브렛의 희소성과 국소화 특성이 모델 성능과 해석가능성에 어떤 영향을 미치는가?

주요 결과

• GWNN은 Cora, Citeseer, Pubmed에서 기존의 스펙트럴 CNN보다 일관되게 우수하다.
• GWNN은 보고된 설정에서 Cora 82.8%, Citeseer 71.7%, Pubmed 79.1%의 정확도를 달성한다.
• 그래프 푸리에 변환을 그래프 웨이브렛 변환으로 교체하면 Spectral CNN에 비해 Cora와 Citeseer에서 약 10%, Pubmed에서 약 5%의 정확도 상승을 얻는다.
• 특징 변환을 컨볼루션에서 분리하면 매개변수 수가 감소하고(예: ChebyNet 기준선: 46,080–178,032 매개변수 vs. Detaching-ChebyNet: 23,048–59,348) 정확도가 향상될 수 있으며, 특히 Pubmed에서(78.6% vs 74.4%) 두드러진다.
• GWNN의 희소성(예: 2.8% 변환 밀도 대 푸리에의 99.1%)과 웨이브렛의 국소성이 효율성과 해석가능성에 기여한다.