[논문 리뷰] Revisiting Graph Convolutional Network on Semi-Supervised Node Classification from an Optimization Perspective

Hongwei Zhang, Tijin Yan외 3명|arXiv (Cornell University)|2020. 09. 24.

Advanced Graph Neural Networks참고 문헌 57인용 수 9

한 줄 요약

이 논문은 최적화 시각에서 그래프 컨volution 네트워크(GCNs)를 재구성하며, 깊은 GCNs에서의 과도한 스무딩 현상이 해법 과정에서의 난잡한 일阶 근사에 기인함을 밝혀낸다. 이를 바탕으로 제안된 GCN+는 일반 최적화 프레임워크에서 유도된 새로운 컨volution 커널로, 과도한 스무딩을 감소시키고 반도체 학습 노드 분류 작업에서 파rameter 수를 줄이며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Graph convolutional networks (GCNs) have achieved promising performance on various graph-based tasks. However they suffer from over-smoothing when stacking more layers. In this paper, we present a quantitative study on this observation and develop novel insights towards the deeper GCN. First, we interpret the current graph convolutional operations from an optimization perspective and argue that over-smoothing is mainly caused by the naive first-order approximation of the solution to the optimization problem. Subsequently, we introduce two metrics to measure the over-smoothing on node-level tasks. Specifically, we calculate the fraction of the pairwise distance between connected and disconnected nodes to the overall distance respectively. Based on our theoretical and empirical analysis, we establish a universal theoretical framework of GCN from an optimization perspective and derive a novel convolutional kernel named GCN+ which has lower parameter amount while relieving the over-smoothing inherently. Extensive experiments on real-world datasets demonstrate the superior performance of GCN+ over state-of-the-art baseline methods on the node classification tasks.

연구 동기 및 목표

• 깊은 GCNs에서의 과도한 스무딩의 근본 원인을 경험적 관찰을 넘어서 이론적으로 이해하기 위해.
• 최적화 원칙에 기반한 GCNs에 대한 통합 이론적 프레임워크를 개발하기 위해.
• 과도한 스무딩을 내재적으로 완화하면서 파rameter 수를 줄이는 새로운 그래프 컨볼루션 커널인 GCN+를 설계하기 위해.
• 그래프 구조 데이터에서 노드 수준에서의 과도한 스무딩을 정량화하는 지표를 도입하기 위해.
• 실제 세계의 노드 분류 벤치마크에서 최신 기술 수준의 방법들과의 실험적 검증을 수행하기 위해.

제안 방법

• 노드 표현에 대한 정규화된 최적화 문제의 해로 GCN 연산을 재구성한다.
• 기존 GCN가 진정한 해의 일阶 근사에서 유도된 것으로 밝혀지며, 이는 중요한 정보를 손실하고 과도한 스무딩을 유도함을 확인한다.
• 두 가지 지표를 제안한다: $M_{\textit{smooth}}$는 연결된 노드 간의 쌍별 거리 비율을 총 거리 대비 측정하며, 비연결 노드에 대한 보완 지표도 함께 제시한다.
• 일阶 단순화 없이 전체 최적화 문제를 해결함으로써 GCN+를 새로운 컨volution 커널로 유도한다.
• 세 가지 제약 조건을 적용한다: (a) 원본 노드 특징을 유지하고, (b) 연결된 노드 간 유사성을 장려하며, (c) 비연결 노드 간 이질성을 강제한다.
• 인접 행렬($\tilde{A}_{\text{sym}}, \tilde{A}_{\text{rw}}$)에 대해 대칭 정규화와 랜덤 워크 정규화를 사용하고, 안정적인 전파를 위해 파wr 반복법을 적용한다.

실험 결과

연구 질문

• RQ1 이론적 최적화 시각에서 깊은 GCNs에서 과도한 스무딩이 발생하는 이유는 무엇인가?
• RQ2 전반적인 스무딩이 아니라 노드 수준에서 과도한 스무딩을 어떻게 정량화할 수 있는가?
• RQ3 기본 최적화 문제를 정확히 해결함으로써 더 정확한 그래프 컨볼루션 커널을 도출할 수 있는가?
• RQ4 일반 최적화 프레임워크에서 유도된 커널이 표준 GCN 및 최신 기술 수준의 베이스라인보다 더 적은 파rameter로 노드 분류 성능에서 뛰어나게 되는가?
• RQ5 $\alpha$, $\beta$, 그리고 파wr 반복 횟수와 같은 하이퍼파ram터가 GCN+의 성능에 어떻게 영향을 미치는가?

주요 결과

• GCN+는 Cora, PubMed, Citeseer를 포함한 여러 실세계 데이터셋에서 최신 기술 수준의 성능을 달성하며, GCN, GAT, SGC와 같은 최신 기술 수준의 방법들을 능가한다.
• $M_{\textit{smooth}}$ 지표는 GCN+가 증가하는 힙 수에 걸쳐 낮고 안정적인 스무딩 값을 유지함을 보여주며, 과도한 스무딩에 대한 저항력을 확인한다.
• $\beta \neq 0$ (비연결 노드에 대한 정규화 포함)인 GCN+ 버전이 $\beta = 0$ 버전보다 더 우수한 성능을 보이며, 세 번째 제약 조건의 유용성을 확인한다.
• 실험 전반에 걸쳐 대칭 정규화($\tilde{A}_{\text{sym}}$)가 랜덤 워크 정규화($\tilde{A}_{\text{rw}}$)보다 略적으로 더 우수한 성능을 보였다.
• Cora에서 테스트 정확도를 최대화하기 위해 최적의 하이퍼파ram터로 $\alpha = 9$ (즉, 원본 특징의 10% 유지)와 $k = 16$ 또는 $32$의 파wr 반복 횟수를 도출하였다.
• 표준 GCN보다 훨씬 적은 파rameter로도 GCN+는 뛰어난 성능을 달성하며, 정확도를 희생시키지 않은 채 파rameter 효율성을 입증하였다.