[논문 리뷰] Graph Based Convolutional Neural Network

Michael Edwards, Xianghua Xie|arXiv (Cornell University)|2016. 09. 28.

Advanced Graph Neural Networks참고 문헌 17인용 수 43

한 줄 요약

이 논문은 그래프 라플라시안의 스펙트럼 도메인에서 컨볼루션을 수행하는 그래프 기반 컨volution 신경망(GCNN)을 제안한다. 이는 비정규적인 공간 도메인에서의 딥러닝을 가능하게 한다. 그래프 신호 처리와 스펙트럼 승수를 활용한 역전파를 통해, 공간적으로 비정규적인 서브샘플링된 MNIST 데이터셋에서 94.96%의 정확도를 달성하였으며, 기존의 CNN이 실패하는 상황에서도 효과적인 局소적 특징 학습을 가능하게 한다.

ABSTRACT

The benefit of localized features within the regular domain has given rise to the use of Convolutional Neural Networks (CNNs) in machine learning, with great proficiency in the image classification. The use of CNNs becomes problematic within the irregular spatial domain due to design and convolution of a kernel filter being non-trivial. One solution to this problem is to utilize graph signal processing techniques and the convolution theorem to perform convolutions on the graph of the irregular domain to obtain feature map responses to learnt filters. We propose graph convolution and pooling operators analogous to those in the regular domain. We also provide gradient calculations on the input data and spectral filters, which allow for the deep learning of an irregular spatial domain problem. Signal filters take the form of spectral multipliers, applying convolution in the graph spectral domain. Applying smooth multipliers results in localized convolutions in the spatial domain, with smoother multipliers providing sharper feature maps. Algebraic Multigrid is presented as a graph pooling method, reducing the resolution of the graph through agglomeration of nodes between layers of the network. Evaluation of performance on the MNIST digit classification problem in both the regular and irregular domain is presented, with comparison drawn to standard CNN. The proposed graph CNN provides a deep learning method for the irregular domains present in the machine learning community, obtaining 94.23% on the regular grid, and 94.96% on a spatially irregular subsampled MNIST.

연구 동기 및 목표

• 표준 커널 컨볼루션의 적용이 비현실적인 비정규 공간 도메인에 컨volution 신경망을 적용하는 데 도전하는 문제를 해결하기 위해.
• 규칙적인 격자에서 유도된 컨볼루션 및 풀링 연산을 비정규 그래프로 확장하여 그래프 구조 데이터에 대한 딥러닝을 가능하게 하기 위해.
• 엔드 투 엔드 훈련을 위한 정확한 역전파를 보장하는 기울기 가능 그래프 컨볼루션 및 풀링 연산자 개발을 위해.
• 정규 및 비정규 버전의 MNIST 데이터셋에서 성능 평가를 통해 비격자 데이터에 대한 일반화 능력을 입증하기 위해.
• 그래프 푸리에 변환과 스펙트럼 필터링을 활용한 비정규 도메인 학습을 위한 확장 가능한 프레임워크 제공을 위해.

제안 방법

• 입력을 그래프 푸리에 변환(GFT)을 통해 변환하고, 스펙트럼 승수를 적용함으로써 그래프 푸리에 도메인에서 컨볼루션을 수행한다.
• 부드러운 스펙트럼 승수를 사용하여 역 GFT를 통해 국소적 공간 특징 맵을 유도함으로써, 비정규 그래프에서 국소적 학습을 가능하게 한다.
• 노드를 집계하여 그래프 해상도를 층별로 감소시키는, 대수적 멀티그리드(AMG) 기반의 그래프 풀링 방법을 도입한다.
• 스펙트럼 투영을 통한 ∇f_s,i 및 ∇k_i,o의 명시적 계산을 통해, 입력 특징 및 스펙트럼 필터에 대한 기울기 갱신을 유도한다.
• 추적된 가중치의 보간을 통해 스펙트럼 필터를 근사함으로써 계산 비용을 감소시키면서도 기울기 정확도를 유지한다.
• 두 단계 훈련 프로세스를 활용한다: GFT 및 역 GFT를 통한 순방향 전파, 이어서 스펙트럼 도메인 도함수를 이용한 기울기 계산.

실험 결과

연구 질문

• RQ1 스펙트럼 도메인에서의 그래프 컨볼루션은 비정규 공간 도메인에서 국소적 특징을 효과적으로 학습할 수 있는가?
• RQ2 제안된 기울기 계산 방법은 이전 방법들과 비교해 정확도가 높은가, 특히 추적된 가중치가 제한된 경우에?
• RQ3 제안된 그래프 CNN은 비정규 데이터에서 경쟁력 있는 성능를 달성하면서도 딥러닝을 위한 기울기 가능성을 유지할 수 있는가?
• RQ4 보간 및 그래프 풀링은 모델 정확도와 훈련 안정성에 어떤 영향을 미치는가?
• RQ5 정규 및 비정규 MNIST 데이터셋에서 제안된 그래프 CNN의 성능는 표준 CNN과 비교해 어떻게 되는가?

주요 결과

• 제안된 그래프 CNN은 정규 격자 MNIST에서 94.23%의 테스트 정확도를 달성하였으며, Henaff 등(92.69%)의 베이스라인 방법을 초월하였다.
• 비정규로 서브샘플링된 MNIST 데이터셋에서는 94.96%의 정확도를 기록하였으며, 베이스라인(91.84%)을 크게 상회하여 공간적 비정규성에 대한 강건성을 입증하였다.
• 스펙트럼 투영을 통한 기울기 계산은 입력 특징에 대해 오차를 1.41% (±4.00%)로 감소시켰으며, 역전파에서 GFT를 생략한 경우 376.50% (±1020.79%)의 오차를 보였다.
• 필터 기울기의 경우, 제안된 방법은 오차 3.81% (±16.11%)를 기록하였고, 스펙트럼 투영을 생략한 경우 826.08% (±4153.32%)의 오차를 보였으며, 이는 수치적 안정성 향상을 확인한다.
• 추적된 가중치가 적은 경우 보간은 더 높은 오차를 유발하지만, 제안된 방법은 모든 테스트 설정에서 다른 방법보다 더 정확하였다.
• 그림 5 및 6에서 시각화한 바와 같이, 정규 및 비정규 도메인 양쪽에서 다수의 층을 거쳐 공간적으로 국소화된 특징 맵을 성공적으로 학습하였다.