[논문 리뷰] Revisiting Graph Neural Networks: All We Have is Low-Pass Filters

Hoang Nt, Takanori Maehara|arXiv (Cornell University)|2019. 05. 23.

Advanced Graph Neural Networks참고 문헌 32인용 수 248

한 줄 요약

이 논문은 그래프 신호 처리 관점에서 GNN을 분석하고 GNN이 주로 저주파 필터링을 수행한다는 것을 보여준다; 학습은 종종 불필요하고 gfNN은 효과적인 빠른 베이스라인 노이즈 제거 방법으로 작동한다. 벤치마크에 걸쳐 이론적 및 실증적 근거를 제공하고 저주파 그래프 필터링 신경망을 도입한다.

ABSTRACT

Graph neural networks have become one of the most important techniques to solve machine learning problems on graph-structured data. Recent work on vertex classification proposed deep and distributed learning models to achieve high performance and scalability. However, we find that the feature vectors of benchmark datasets are already quite informative for the classification task, and the graph structure only provides a means to denoise the data. In this paper, we develop a theoretical framework based on graph signal processing for analyzing graph neural networks. Our results indicate that graph neural networks only perform low-pass filtering on feature vectors and do not have the non-linear manifold learning property. We further investigate their resilience to feature noise and propose some insights on GCN-based graph neural network design.

연구 동기 및 목표

• 그래프 신호 처리 관점을 통해 GNN이 노드 분류에서 언제 잘 작동하는지 이해하기 위한 동기를 제시한다.
• 표준 GCN/SGC 연산이 주로 저주파 필터링을 수행하고 특징을 잡음으로부터 복원한다는 것을 보인다.
• 빠르고 노이즈에 강한 베이스라인으로 gfNN을 도입하고 이를 GCN 및 SGC와 비교한다.
• 그래프 기반 저주파 필터링이 실제 특징과 잡음이 있는 특징에 미치는 영향을 이론적으로 특징화한다.

제안 방법

• 그래프 라플라시안과 일반화 특이값을 사용하여 그래프 푸리에 변환을 정의한다.
• 인접 행렬/정규화된 라플라시안 행렬로의 전파가 저주파 필터링을 구현함을 보여준다.
• 저주파 필터링이 실제 특징 회복 및 최적화 해를 근사한다는 것을 증명한다(정리 2, 3, 7, 8).
• 두 단계 파이프라인으로 gfNN(graph filter neural network)를 제안한다: 그래프 필터를 적용한 뒤 분류기로 학습한다.
• 가정 1(저주파의 실제 특징에 잡음)이 있을 때 저주파 필터에 대한 편향-분산 분석을 제공한다.
• 실제 데이터셋(Cora, Citeseer, Pubmed, Reddit, PPI, Two Circles)와 합성 데이터에서 GCN, SGC, gfNN를 비교하는 실험을 수행한다.

실험 결과

연구 질문

• RQ1 가정 1(저주파의 실제 특징에 잡음)이 있을 때, GCN, SGC, gfNN이 실제 특징으로 학습된 모델과 비슷한 성능을 보이는가?
• RQ2 그래프에 의해 유도된 저주파 필터가 본질적으로 잡음을 가진 특징을 스스로 잡음 제거하는가, 그리고 이것이 학습 및 잡음에 대한 로버스트성에 어떻게 작용하는가?
• RQ3 단순한 gfNN 베이스라인이 빠른 학습 속도와 더 나은 잡음 허용도를 제공하면서 전통적인 GCN/SGC의 성능에 맞추거나 능가할 수 있는가?
• RQ4 비선형 특징 공간에서 SGC가 실패할 수 있고 비선형 gfNN/GCN이 성공할 수 있는가, 선형 전파의 한계를 보여주는가?

주요 결과

데이터세트	노드 수	에지 수	특징 수	클래스 수	학습/검증/테스트 노드 ???
Cora	2,708	5,278	1,433	7	140/500/1,000
Citeseer	3,327	4,732	3,703	6	120/500/1,000
Pubmed	19,717	44,338	500	3	60/500/1,000
Reddit	231,443	11,606,919	602	41	151,708/23,699/55,334
PPI	56,944	818,716	50	121	44,906/6,514/5,524
Two Circles	4,000	10,000	2	2	80/80/3,840

• 저주파 성분이 주로 분류 정보를 담고 있으며 고주파 성분이나 잡음을 추가하면 성능이 저하될 수 있다.
• 인접/보강 인접 필터를 곱하는 것은 저주파 필터 역할을 하며, 자기루프를 포함하면 모든 고유값이 단조롭게 감소한다.
• 현실적인 가정 하에서 실제 특징이 저주파일 때 gfNN와 GCN은 실제 특징으로 학습된 모델과 유사한 결과를 보인다.
• gfNN은 학습 시간 그래프 곱셈이 필요 없어 더 빠르고 특징 노이즈에 대해 GCN보다 더 견고하다.
• SGC는 실제 특징에 대해 선형 모델처럼 작동하며 비선형 분리 가능성에서 실패할 수 있지만, 비선형 설정에서 gfNN/GCN과는 다르다.
• 실험에서 gfNN 및 SGC가 여러 데이터셋에서 GCN과 비슷한 정확도와 더 나은 노이즈 내성을 보이고, 노이즈가 클 때 GCN이 과적합할 수 있다.