[논문 리뷰] Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering

Michaël Defferrard, Xavier Bresson외 1명|arXiv (Cornell University)|2016. 06. 30.

Advanced Graph Neural Networks참고 문헌 28인용 수 1,701

한 줄 요약

Chebyshev 다항식을 이용한 국소적으로 계산 가능한 그래프 필터를 갖춘 스펙트럴 그래프 CNN 프레임워크와, 불규칙 도메인에서의 확장 가능한 학습을 위한 그래프 코어징 및 풀링을 제안한다.

ABSTRACT

In this work, we are interested in generalizing convolutional neural networks (CNNs) from low-dimensional regular grids, where image, video and speech are represented, to high-dimensional irregular domains, such as social networks, brain connectomes or words' embedding, represented by graphs. We present a formulation of CNNs in the context of spectral graph theory, which provides the necessary mathematical background and efficient numerical schemes to design fast localized convolutional filters on graphs. Importantly, the proposed technique offers the same linear computational complexity and constant learning complexity as classical CNNs, while being universal to any graph structure. Experiments on MNIST and 20NEWS demonstrate the ability of this novel deep learning system to learn local, stationary, and compositional features on graphs.

연구 동기 및 목표

• 일반적으로 CNN을 규칙적 격자에서 그래프로 확장하기 위한 스펙트럴 그래프 이론의 적용.
• 선형 복잡도로 구현 가능한 엄격하게 지역화된 그래프 필터를 개발한다.
• 그래프 코어징과 풀링을 도입하여 그래프에서 다중 스케일 학습이 가능하도록 한다.
• MNIST와 20NEWS에서 계산 효율성을 유지하면서도 경쟁력 있는 성능을 입증한다.

제안 방법

• 그래프 라플라시안과 고유기저를 사용하여 스펙트럴 도메인에서 그래프 합성곱을 수식화한다.
• 그필터를 라플라시안의 K차 다항식으로 매개변수화하여 국소성을 보장한다(g_theta(L) = sum_{k=0}^{K-1} theta_k L^k).
• 명시적 고유분해 없이 Chebyshev 다항식과 재귀를 통해 필터를 효율적으로 계산한다.
• 그라클루스 다층 클러스터링을 사용한 그래프 코어징으로 스케일 간 풀링을 가능하게 한다.
• 코어즈된 그래프를 균형 있는 이진 트리로 재배치하여 1D-유사 풀링 연산을 가능하게 한다.
• 역전파를 이용한 학습; theta 및 입력에 대한 그래디언트는 K개의 희소 행렬-벡터 곱과 하나의 밀집 벡터-곱으로 얻는다.

실험 결과

연구 질문

• RQ1 CNN과 같은 가중치 공유를 그래프에 일반화하면서도 국소성과 효율성을 보장할 수 있는가?
• RQ2 스펙트럴 그래프 CNN이 국소화된 필터를 갖는 경우 표준 벤치마크(MNIST, 20NEWS)에서 전통적 CNN 및 다른 그래프 방법과 비교하여 경쟁력 있는 정확도를 달성하는가?
• RQ3 대규모 그래프에 대해 다중 스케일 학습을 가능하게 하도록 그래프 풀링/코어징을 효율적으로 수행하는 것이 가능한가?
• RQ4 입력 그래프의 품질이 그래프 기반 CNN의 학습 성능에 어떤 영향을 미치는가?

주요 결과

아키텍처	정확도
Classical CNN (C32-P4-C64-P4-FC512)	99.33
Proposed graph CNN (GC32-P4-GC64-P4-FC512)	99.14

• Chebyshev 기반 스펙트럴 필터 매개변화는 선형 복잡도에서 지역화된(K-홉) 커널을 달성한다.
• 그래프 코어징(Graclus)과 후속의 정규화된 1D 유사 풀링을 통한 효율적인 다중 스케일 학습이 가능해진다.
• MNIST에서 GC32-P4-GC64-P4-FC512를 갖춘 그래프 CNN은 유사한 구조의 전통적 CNN의 99.33%에 비해 99.14%의 정확도를 달성한다.
• MNIST에서 그래프 CNN은 GPU에서 비그래프 방법에 비해 실행 속도가 빨라지는 경향을 보이며, 일부 기존 스펙트럴 방법의 O(n^2)과 달리 O(n)으로 확장된다.
• 20NEWS에서 GC32를 갖춘 그래프 CNN은 68.26%의 정확도를 달성하며, 특정 설정에서 일부 FC 기반 모델을 능가하지만 이 설정에서는 다항 나이브 베이즈 베이스라인보다 약간 낮다.