[논문 리뷰] Simplifying Graph Convolutional Networks

Felix Wu, Tianyi Zhang외 4명|arXiv (Cornell University)|2019. 02. 19.

Advanced Graph Neural Networks참고 문헌 57인용 수 1,182

한 줄 요약

이 논문은 Simple Graph Convolution(SGC)을 소개합니다. 이는 GCN의 선형화 변형으로, 고정된 그래프 기반 특징 스무딩을 미리 계산하고 간단한 로지스틱 회귀를 학습합니다. 대형 그래프에서 훨씬 빠른 학습 속도로 경쟁력 있는 정확도를 달성합니다.

ABSTRACT

Graph Convolutional Networks (GCNs) and their variants have experienced significant attention and have become the de facto methods for learning graph representations. GCNs derive inspiration primarily from recent deep learning approaches, and as a result, may inherit unnecessary complexity and redundant computation. In this paper, we reduce this excess complexity through successively removing nonlinearities and collapsing weight matrices between consecutive layers. We theoretically analyze the resulting linear model and show that it corresponds to a fixed low-pass filter followed by a linear classifier. Notably, our experimental evaluation demonstrates that these simplifications do not negatively impact accuracy in many downstream applications. Moreover, the resulting model scales to larger datasets, is naturally interpretable, and yields up to two orders of magnitude speedup over FastGCN.

연구 동기 및 목표

• GCN의 필요하지 않은 비선형성 및 계층별 변환을 제거하여 단순화의 필요성을 제시한다.
• 다층 GCN의 수용 필드(receptive field)를 보존하는 선형 모델을 도출하고 분석한다.
• 고정된 그래프 기반 특징 스무딩 뒤에 로지스틱 회귀를 사용하면 GCN의 성능에 필적하거나 이를 능가할 수 있음을 보인다.
• 특징 전파의 사전 계산이 대형 그래프에서 상당한 계산 효율성을 가능하게 함을 보여준다.
• SGC를 다양한 인용 네트워크, 소셜 네트워크 및 다양한 다운스트림 작업에서 평가하여 넓은 적용 가능성을 확립한다.]
• method_
• Define the graph G with adjacency A, degree D, and feature matrix X.

제안 방법

• 그래프 G를 인접 행렬 A, 차수 D, 특징 행렬 X로 정의한다.

실험 결과

연구 질문

• RQ1 GCN 계층 간 비선형성을 제거하고 가중치를 축소하는 것이 경쟁력 있는 모델을 낳는가?
• RQ2 고정된 특징 전파 H = S^K X가 성능 및 해석성에 어떤 영향을 주는가?
• RQ3 SGC가 대형 그래프에서도 정확성을 유지하며 스케일링될 수 있는가?
• RQ4 스펙트럴 관점에서 SGC의 효과를 설명할 수 있는 이론적 해석은 무엇인가?

주요 결과

• SGC는 인용 네트워크(Cora, Citeseer, Pubmed) 및 Reddit에서 GCN 및 최첨단 그래프 네트워크와 비교하여 경쟁력 있는 테스트 정확도를 달성한다.
• SGC는 사전 계산된 S^K X를 통해 Reddit에서 최대 두 자릿수의 속도 향상을 달성하는 등 훨씬 빠르다.
• SGC는 텍스트 분류, 사용자 지리적 위치 추정, 관계 추출, 제로샷 이미지 분류 등의 다운스트림 작업에서도 강한 성능을 유지한다.
• 이론적 분석은 SGC가 그래프 스펙트럼의 고정된 저역통과 필터에 해당하며, 재정규화 트릭이 스펙트럼을 축소하여 스무딩을 유도함을 보인다.
• SGC는 파라미터 수가 적고 과적합을 피하는 경향이 있으며, 복잡성 감소로 인해 때로 GCN 기반 모델보다 더 나은 성능을 보인다.