[논문 리뷰] When Work Matters: Transforming Classical Network Structures to Graph CNN

Wenting Zhao, Chunyan Xu외 5명|arXiv (Cornell University)|2018. 07. 07.

Advanced Graph Neural Networks참고 문헌 33인용 수 12

한 줄 요약

이 논문은 스펙트럴 그래프 필터링을 사용하여 고전적 딥 러닝 아키텍처를 비정규적인 그래프 구조 데이터에 적응시켜 그래프 CNN 변종인 G ResNet, G Inception, G DenseNet을 제안한다. 깊이 있는 모델과 최적화된 수용장역(예: 크기 6)이 그래프 분류 정확도를 크게 향상시키며, MUTAG에서 최대 95.56% 및 NCI109에서 81.24%의 정확도를 달성한다.

ABSTRACT

Numerous pattern recognition applications can be formed as learning from graph-structured data, including social network, protein-interaction network, the world wide web data, knowledge graph, etc. While convolutional neural network (CNN) facilitates great advances in gridded image/video understanding tasks, very limited attention has been devoted to transform these successful network structures (including Inception net, Residual net, Dense net, etc.) to establish convolutional networks on graph, due to its irregularity and complexity geometric topologies (unordered vertices, unfixed number of adjacent edges/vertices). In this paper, we aim to give a comprehensive analysis of when work matters by transforming different classical network structures to graph CNN, particularly in the basic graph recognition problem. Specifically, we firstly review the general graph CNN methods, especially in its spectral filtering operation on the irregular graph data. We then introduce the basic structures of ResNet, Inception and DenseNet into graph CNN and construct these network structures on graph, named as G_ResNet, G_Inception, G_DenseNet. In particular, it seeks to help graph CNNs by shedding light on how these classical network structures work and providing guidelines for choosing appropriate graph network frameworks. Finally, we comprehensively evaluate the performance of these different network structures on several public graph datasets (including social networks and bioinformatic datasets), and demonstrate how different network structures work on graph CNN in the graph recognition task.

연구 동기 및 목표

• 고전적 딥 뉴럴 네트워크 아키텍처—ResNet, Inception, DenseNet—을 비정규적인 그래프 구조 데이터를 위한 그래프 컨volution 네트워크(Graph CNNs)로 적응시키는 것.
• 고전적 CNN에서 유래한 잔차 학습, 밀집 연결, 다중수용장역 모듈이 그래프 도메인으로 효과적으로 이식될 수 있는지 조사하는 것.
• 기본 그래프 데이터셋에서 이러한 적응된 아키텍처의 성능을 평가하여 그래프 인식 작업에 초점을 맞추는 것.
• 깊이와 수용장역 크기의 영향을 분석함으로써 더 깊고 효과적인 그래프 CNN을 설계하기 위한 지침을 제공하는 것.

제안 방법

• 비정규적인 그래프 구조를 다룰 수 있도록 체비셰프 다항식 근사를 사용한 스펙트럴 그래프 컨볼루션을 적용한다.
• 더 깊은 네트워크의 훈련을 용이하게 하기 위해 스펙트럴 그래프 컨볼루션 레이어에 스킵 연결을 통합함으로써 G ResNet을 제안한다.
• 다양한 수용장역 크기(3, 6, 9)를 가진 병렬 컨볼루션 경로를 그래프 컨볼루션 환경에 통합하여 G Inception을 구성한다.
• 모든 후속 레이어에 각 그래프 컨볼루션 레이어를 피드포워드 방식으로 연결함으로써 특징 전파를 향상시키는 G DenseNet을 개발한다.
• 성능을 유지하면서 계산 효율성을 높이기 위해 스펙트럴 그래프 컨볼루션의 일阶 근사를 사용한다.
• 노드 특징에 대한 주파수 기반 필터링 연산을 정의하기 위해 그래프 라플라시안 고유 분해를 활용한다.

실험 결과

연구 질문

• RQ1 잔차 연결(ResNet 방식)이 그래프 컨볼루션 네트워크의 훈련과 성능에 어떻게 기여하는가?
• RQ2 다중수용장역 모듈(Inception 방식)이 그래프 구조 데이터의 특징 표현에 얼마나 기여하는가?
• RQ3 밀집 연결(DenseNet 방식)이 그래프 CNN에서 특징 학습과 모델 정확도에 어떤 영향을 미치는가?
• RQ4 분류 정확도 측면에서 그래프 컨볼루션 레이어의 최적 수용장역 크기는 무엇인가?
• RQ5 제안된 그래프 CNN 변종을 사용한 그래프 인식 작업에서 네트워크 깊이가 성능에 어떻게 영향을 미치는가?

주요 결과

• 12층 컨볼루션을 가진 G Inception은 MUTAG에서 95.56%의 정확도를 기록하여 3층 버전 대비 2.78% 향상되었다.
• 9층 컨볼루션을 가진 G Inception은 NCI109에서 81.24%의 정확도를 기록하여 3층 모델 대비 3.93% 향상되었다.
• 수용장역 크기가 6인 G ResNet은 MUTAG에서 94.44%의 정확도를 기록하여 크기 3 및 9보다 뛰어났다.
• 수용장역 크기가 6인 G DenseNet은 MUTAG에서 94.44%의 정확도를 기록하여 테스트된 모든 구성 중에서 가장 높은 성능을 보였다.
• 더 깊은 모델(예: 12층 G Inception)은 항상 얕은 모델보다 뛰어나며, 이는 더 깊은 아키텍처가 고차원 그래프 표현을 추출할 수 있음을 시사한다.
• 수용장역 크기 6이 특징 추출과 복잡도 사이의 균형을 잘 맞춰 최적의 성능을 보였으며, 더 크거나 더 작은 수용장역은 두 데이터셋에서 성능 저하를 초래했다.