[논문 리뷰] Break the Ceiling: Stronger Multi-scale Deep Graph Convolutional Networks

Sitao Luan, Mingde Zhao외 2명|arXiv (Cornell University)|2019. 06. 05.

Advanced Graph Neural Networks참고 문헌 35인용 수 24

한 줄 요약

이 논문은 블록 크릴로프 부분공간 방법을 활용하여 다중 척도 정보 추출 및 확장성을 향상시키는 두 가지 새로운 딥 그래프 컨volution 네트워크 아키텍처—선형 스노우볼 및 절삭된 크릴로프 GCN—을 제안한다. 블록 크릴로프 형태로 그래프 컨볼루션을 재구성함으로써, 모델들은 노드 분류 작업에서 최신 기술 수준(SOTA) 성능을 달성하며, 특히 훈련 데이터가 제한된 경우에서 전도적 및 유도적 설정 모두에서 기존 GCN보다 유의미한 성능 향상을 보인다.

ABSTRACT

Recently, neural network based approaches have achieved significant improvement for solving large, complex, graph-structured problems. However, their bottlenecks still need to be addressed, and the advantages of multi-scale information and deep architectures have not been sufficiently exploited. In this paper, we theoretically analyze how existing Graph Convolutional Networks (GCNs) have limited expressive power due to the constraint of the activation functions and their architectures. We generalize spectral graph convolution and deep GCN in block Krylov subspace forms and devise two architectures, both with the potential to be scaled deeper but each making use of the multi-scale information in different ways. We further show that the equivalence of these two architectures can be established under certain conditions. On several node classification tasks, with or without the help of validation, the two new architectures achieve better performance compared to many state-of-the-art methods.

연구 동기 및 목표

• 기존 그래프 컨볼루션 네트워크(GCN)의 표현력이 제한되고 확장성도 떨어지는 문제, 특히 깊은 아키텍처에서의 문제를 해결하기 위해.
• 활성화 함수 제약 조건과 깊은 스택에서의 과도한 스무스닝으로 인한 GCN의 근본적 한계를 분석하기 위해.
• 더 깊고 풍부한 표현을 가능하게 하면서도 다중 척도 정보를 더 효과적으로 활용할 수 있는 새로운 아키텍처를 개발하기 위해.
• 그래프 컨볼루션을 블록 크릴로프 부분공간 형태로 재구성함으로써 깊고 표현력 있고 확장 가능한 GCN 아키텍처를 만들 수 있음을 보여주기 위해.
• 검증 세트 유무에 관계없이 표준 노드 분류 벤치마크에서 제안된 모델을 검증하여 뛰어난 성능을 입증하기 위해.

제안 방법

• 스펙트럴 그래프 컨볼루션을 블록 크릴로프 행렬과 학습 가능한 파라미터 행렬의 곱으로 재구성함으로써, 더 깊고 표현력 있는 아키텍처를 가능하게 한다.
• 두 가지 아키텍처를 도입한다: 선형 스노우볼 GCN는 선형화된 크릴로프 구성을 사용하고, 절삭된 크릴로프 GCN는 효율성과 안정성을 향상시키기 위해 절삭을 적용한다.
• 명시적 고유분해를 피하는 스펙트럼 무관 접근법을 사용하여 계산 효율성을 유지하면서도 더 깊은 스택을 가능하게 한다.
• 블록 크릴로프 부분공간 프레임워크를 활용하여 표준 GCN와 깊은 GCN를 일반화함으로써, 다중 척도 간 메시지 전달을 더 풍부하게 한다.
• RMSprop/Adam, 드롭아웃, 조기 정지와 같은 적응형 하이퍼파라미터 검색을 적용하여 다양한 데이터 환경에서 견고한 훈련을 보장한다.
• t-SNE 시각화를 통해 특징 품질을 분석하며, 특히 저데이터 설정에서의 성능을 중점적으로 분석한다.

실험 결과

연구 질문

• RQ1 표준 GCN는 이론적으로 더 깊은 표현이 가능하지만, 왜 깊은 아키텍처로의 확장에서 효과적으로 스케일링되지 못할까?
• RQ2 그래프 내의 다중 척도 정보를 체계적으로 활용하여 얕은 GCN 스택을 넘어서 표현 학습을 향상시킬 수 있는 방법은 무엇인가?
• RQ3 그래프 컨볼루션을 블록 크릴로프 부분공간 프레임워크로 재표현할 수 있을까? 이를 통해 더 깊고 표현력 있고 확장 가능한 GCN 아키텍처를 만들 수 있는가?
• RQ4 깊은 GCN에서의 과도한 스무스닝의 이론적 및 실증적 한계는 무엇이며, 아키텍처 설계를 통해 이를 어떻게 완화할 수 있는가?
• RQ5 블록 크릴로프 부분공간 기반 아키텍처는 최소한의 하이퍼파라미터 튜닝으로도 노드 분류 작업에서 최신 기술 수준 성능을 달성할 수 있는가?

주요 결과

• 절삭된 크릴로프 GCN는 훈련 데이터가 5%인 Cora에서 83.4%의 정확도를 기록하여 GCN(79.3%) 및 기타 최신 기술 수준 방법들을 크게 앞서며 성능을 뛰어넘었다.
• 선형 스노우볼 GCN는 훈련 데이터가 5%인 Cora에서 82.2%의 정확도를 기록하여 훨씬 낮은 계산 비용으로도 뛰어난 성능을 보였다.
• PubMed에서 훈련 데이터가 0.3%일 경우, 절삭된 크릴로프 GCN는 80.0%의 정확도를 기록하여 이전 최신 기술 수준인 77.6%(GCN-DVAT)를 초월했다.
• 완전한 검증 세트가 있는 조건에서, 절삭된 크릴로프 GCN는 Cora에서 83.5%의 정확도를 기록하여 GAT(83.0%) 및 AdaLNet(80.4%)를 포함한 모든 베이스라인을 압도했다.
• t-SNE 시각화 결과, 제안된 모델이 특히 저데이터 환경에서 더 분류 가능한 특징을 추출하며, 클래스 간 분리도가 뛰어나다는 것이 확인되었다.
• 이론적 분석을 통해 깊은 GCN에서 표준 ReLU 및 Tanh 활성화 함수를 사용할 경우 랭크 붕괴(rank ≤ k, 여기서 k는 연결된 컴포넌트의 수) 문제가 발생함을 증명하였으며, 이는 아키텍처 혁신의 필요성을 정당화한다.