[논문 리뷰] Graph Capsule Convolutional Neural Networks

Saurabh Verma, Zhili Zhang|arXiv (Cornell University)|2018. 05. 21.

Advanced Graph Neural Networks참고 문헌 32인용 수 95

한 줄 요약

이 논문은 Capsule 기반 출력을 사용하는 Graph Capsule CNN(GCAPS-CNN)과 공분산 기반의 순열 불변 계층을 활용해 그래프 분류를 향상시키고, 여러 벤치마크에서 최첨단 결과를 달성한다.

ABSTRACT

Graph Convolutional Neural Networks (GCNNs) are the most recent exciting advancement in deep learning field and their applications are quickly spreading in multi-cross-domains including bioinformatics, chemoinformatics, social networks, natural language processing and computer vision. In this paper, we expose and tackle some of the basic weaknesses of a GCNN model with a capsule idea presented in \cite{hinton2011transforming} and propose our Graph Capsule Network (GCAPS-CNN) model. In addition, we design our GCAPS-CNN model to solve especially graph classification problem which current GCNN models find challenging. Through extensive experiments, we show that our proposed Graph Capsule Network can significantly outperforms both the existing state-of-art deep learning methods and graph kernels on graph classification benchmark datasets.

연구 동기 및 목표

• 표준 GCNN이 그래프 분류에서 가지는 약점을 동기부여하고 해결한다.
• 스칼라 컨볼루션보다 풍부한 국소 정보를 포착하기 위해 그래프 캡슐을 도입한다.
• 공분산에 기반한 빠르고 미분가능한 순열 불변 계층을 개발한다.
• 전체 그래프 구조를 활용하기 위해 글로벌 그래프 특징을 통합한다.
• 다수의 그래프 분류 데이터셋에서 우수한 성능을 시연한다.

제안 방법

• 스칼라 그래프 컨볼루션 출력을 벡터 값의 캡슐로 대체하여 더 높은 차원의 정보를 인코딩한다.
• 캡슐 출력으로 통계 모멘트나 공분산 기반 인스턴에이션 파라미터를 사용한다.
• 노드 순서에 의존하지 않고 집계를 수행하는 공분산 기반 불변 계층으로 순열 불변성을 보장한다.
• Fgsd 스펙트럼 등과 같은 글로벌 그래프 특징을 각 층의 노드 표현에 보강한다.
• 계층, 불변 풀링, 완전 연결 분류기로 구성된 엔드 투 엔드 GCAPS-CNN 아키텍처를 제공한다.
• 표준 그래프 분류 벤치마크에서 딥 러닝 방법 및 그래프 커널과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 그래프 캡슐이 표준 GCNN의 집계에서 잃어버린 정보를 보존하거나 회복할 수 있는가?
• RQ2 공분산 기반의 순열 불변 계층이 동형 그래프 간에 신뢰할 수 있는 그래프 분류를 가능하게 하는가?
• RQ3 전역 그래프 특징이 GCNN에 통합될 때 분류 성능을 향상시키는가?
• RQ4 GCAPS-CNN은 벤치마크 데이터셋에서 최첨단 그래프 커널 및 딥 그래프 모델과 어떻게 비교되는가?

주요 결과

데이터셋	PTC	PROTEINS	NCI1	NCI109	D & D	ENZYMES
딥 러닝 방법	56.60±2.89	61.29±1.60	56.61±1.04	57.47±1.22	58.09±0.53	42.44±1.76
P SCN 2016	62.29±5.68	75.00±2.51	76.34±1.68	—	—	—
ECC 2017	—	—	76.82	75.03	72.54	45.67
DGCNN 2018	58.59±2.47	75.54±0.94	74.44±0.47	75.03±1.72	79.37±0.94	51.00±7.29
GCAPS-CNN (ours)	66.01±5.91	76.40±4.17	82.72±2.38	81.12±1.28	77.62±4.99	61.83±5.39
Graph Kernels RW 2003	57.85±1.30	74.22±0.42	>1 Day	>1 Day	>1 Day	24.16±1.64
Graph Kernels SP 2005	58.24±2.44	75.07±0.54	73.00±0.24	73.00±0.21	>1 Day	40.10±1.50
Graph Kernels GK 2009	57.26±1.41	71.67±0.55	62.28±0.29	62.60±0.19	78.45±1.11	26.61±0.99
Graph Kernels WL 2011	57.97±0.49	74.68±0.49	82.19±0.18	82.46±0.24	79.78±0.36	52.22±1.26
Graph Kernels DGK 2015	60.08±2.55	75.68±0.54	80.31±0.46	80.32±0.33	73.50±1.01	53.43±0.91
Graph Kernels MLG 2016	63.26±1.48	76.34±0.72	81.75±0.24	81.31±0.22	78.18±2.56	61.81±0.99
GCAPS-CNN (kernels)	66.01±5.91	76.40±4.17	82.72±2.38	81.12±1.28	77.62±4.99	61.83±5.39

• GCAPS-CNN은 여러 그래프 분류 벤치마크에서 기존의 최첨단 딥 러닝 방법 및 그래프 커널을 능가한다.
• 제안된 공분산 기반 불변 계층은 순열 불변성과 효율적 계산을 제공한다.
• 전역 특징(Fgsd 등)은 전체 그래프 구조를 도입함으로써 성능을 향상시킬 수 있다.
• GCAPS-CNN은 PROTEINS, NCI1, NCI109, ENZYMES와 같은 다수의 데이터셋에서 최상의 결과를 달성한다.
• 모델은 딥 러닝과 커널 기반 기준선 모두에서 경쟁력 있는 혹은 우수한 정확도를 보인다.
• 아키텍처는 엔드-투-엔드 미분 가능성을 유지하며 다양한 GCNN 변형에 적용 가능하다.