[논문 리뷰] Graph Convolutional Neural Networks based on Quantum Vertex Saliency

Lu Bai, Yuhang Jiao외 4명|arXiv (Cornell University)|2018. 09. 04.

Advanced Graph Neural Networks참고 문헌 56인용 수 3

한 줄 요약

이 논문은 전이성 정점 정렬과 양자 정점 중요도를 활용하여 임의의 크기의 그래프를 고정된 크기의 격자 구조로 변환하는 새로운 GCN 모델인 양자 공간 그래프 컨볼루션 신경망(QSGCNN)을 제안한다. 연속 시간 양자 산책을 활용한 다중 척도 특징 학습과 공간 순서 유지 덕분에 QSGCNN은 기존 방법에 비해 구조적 표현을 향상시키고 정보 손실을 줄이며 엔드 투 엔드 그래프 분류를 가능하게 한다.

ABSTRACT

This paper proposes a new Quantum Spatial Graph Convolutional Neural Network (QSGCNN) model that can directly learn a classification function for graphs of arbitrary sizes. Unlike state-of-the-art Graph Convolutional Neural Network (GCNN) models, the proposed QSGCNN model incorporates the process of identifying transitive aligned vertices between graphs, and transforms arbitrary sized graphs into fixed-sized aligned vertex grid structures. In order to learn representative graph characteristics, a new quantum spatial graph convolution is proposed and employed to extract multi-scale vertex features, in terms of quantum information propagation between grid vertices of each graph. Since the quantum spatial convolution preserves the grid structures of the input vertices (i.e., the convolution layer does not change the original spatial sequence of vertices), the proposed QSGCNN model allows to directly employ the traditional convolutional neural network architecture to further learn from the global graph topology, providing an end-to-end deep learning architecture that integrates the graph representation and learning in the quantum spatial graph convolution layer and the traditional convolutional layer for graph classifications. We demonstrate the effectiveness of the proposed QSGCNN model in relation to existing state-of-the-art methods. The proposed QSGCNN model addresses the shortcomings of information loss and imprecise information representation arising in existing GCN models associated with the use of SortPooling or SumPooling layers. Experiments on benchmark graph classification datasets demonstrate the effectiveness of the proposed QSGCNN model.

연구 동기 및 목표

• 딥러닝을 위한 고정 크기의 수치 특징으로 임의 크기의 그래프를 표현하는 데 도전하는 데에 대비하기 위해.
• SumPooling이나 SortPooling과 같은 풀링 레이어에 의존하는 기존 GCN 모델에서 발생하는 정보 손실과 정확도가 떨어지는 구조적 표현 문제를 해결하기 위해.
• 공간 그래프 컨볼루션과 기존 CNN 간 격차를 메우기 위해 정점의 공간 순서를 격자 변환을 통해 유지함으로써.
• 정렬된 정점 격자에서 연속 시간 양자 산책을 통한 양자 정보 전파를 통합하여 그래프 표현을 향상시키기 위해.
• 양자 공간 컨볼루션을 표준 CNN과 통합하여 엔드 투 엔드 딥러닝 프레임워크를 개발함으로써 그래프 분류에 응용하기 위해.

제안 방법

• 다양한 그래프 간의 정점을 고정 크기의 격자 구조로 매핑하기 위해 전이성 정점 정렬을 적용하여 일관된 공간 순서를 보장한다.
• 연속 시간 양자 산책의 평균 혼합 행렬을 사용하여 정점 특징 전파를 모델링하는 양자 공간 그래프 컨볼루션 레이어를 제안한다.
• 양자 산책의 스펙트럼 특성을 활용하여 고전적 랜덤 워크나 라플라시안 기반 방법보다 그래프 구조를 더 잘 구분할 수 있도록 한다.
• 컨볼루션 과정에서 정점의 원래 공간 순서를 유지하여 표준 CNN 아키텍처와 직접 통합할 수 있도록 한다.
• 양자 공간 컨볼루션 레이어를 기존의 컨볼루션 레이어와 조합하여 전역 그래프 위상의 계층적 특징을 학습한다.
• 그래프 컨볼루션 연산을 Weisfeiler-Lehman 알고리즘의 양자 유사체로 공식화하여 고전적 GCN에서 흔히 발생하는 흔들림 문제를 줄인다.

실험 결과

연구 질문

• RQ1 전이성 정점 정렬이 구조적 관계를 유지하면서도 임의 크기의 그래프를 고정 크기의 격자로 효과적으로 매핑할 수 있는가?
• RQ2 연속 시간 양자 산책을 통한 양자 정보 전파가 고전적 방법에 비해 다중 척도 그래프 특징의 표현을 향상시킬 수 있는가?
• RQ3 컨볼루션 과정에서 정점의 공간 순서를 유지함으로써 표준 CNN과의 통합이 그래프 분류에서 더 나은 성능을 내는가?
• RQ4 양자 공간 컨볼루션은 고전적 그래프 신경망에서 관찰되는 흔들림 문제를 어느 정도 감소시키는가?
• RQ5 제안된 QSGCNN 모델이 벤치마크 그래프 분류 데이터셋에서 최첨단 GCN 및 그래프 커널 모델을 초월할 수 있는가?

주요 결과

• QSGCNN 모델은 양자 공간 컨볼루션을 통해 전체 그래프 위상 구조를 보존함으로써 벤치마크 그래프 분류 데이터셋에서 뛰어난 성능을 달성한다.
• SumPooling이나 SortPooling을 사용하는 모델들과 달리 QSGCNN은 국소 정점 특징과 그들의 공간 순서를 유지함으로써 정보 손실을 방지한다.
• 양자 산책 기반 컨볼루션 메커니즘은 스펙트럼 특성 덕분에 복잡한 그래프 구조를 더 잘 구분하며, 고전적 랜덤 워크 및 라플라시안 기반 접근법을 능가한다.
• 고전적 Weisfeiler-Lehman 기반 GCN에서 흔히 발생하는 흔들림 문제를 양자 알고리즘의 유사체를 사용함으로써 모델이 극복한다.
• 실험 결과 QSGCNN은 표준 그래프 분류 벤치마크에서 DGCNN, PSGCNN, GCCNN, ECC, AWE 등 최첨단 모델을 일관되게 능가함을 입증한다.
• 제안된 방법은 순열 불변 집계에 의존하지 않고 엔드 투 엔드 학습을 가능하게 하여 기존 CNN을 그래프 구조 데이터에 직접 활용할 수 있도록 한다.