[논문 리뷰] Spectral Networks and Locally Connected Networks on Graphs

Joan Bruna, Wojciech Zaremba외 2명|arXiv (Cornell University)|2013. 12. 21.

Advanced Graph Neural Networks참고 문헌 14인용 수 2,711

한 줄 요약

논문은 CNN 개념을 그래프에 확장하여 공간적 및 스펙트럴 그래프 구성으로 경쟁력 있는 정확도를 달성하되 파라미터 수를 훨씬 적게 유지하고, 매끄러운 스펙트럴 곱을 통해 O(1) 파라미터 범위도 가능함.

ABSTRACT

Convolutional Neural Networks are extremely efficient architectures in image and audio recognition tasks, thanks to their ability to exploit the local translational invariance of signal classes over their domain. In this paper we consider possible generalizations of CNNs to signals defined on more general domains without the action of a translation group. In particular, we propose two constructions, one based upon a hierarchical clustering of the domain, and another based on the spectrum of the graph Laplacian. We show through experiments that for low-dimensional graphs it is possible to learn convolutional layers with a number of parameters independent of the input size, resulting in efficient deep architectures.

연구 동기 및 목표

• 격자 구조가 없는 그래프 신호에 대해 CNN을 일반화한다.
• 공간적(로컬 연결) 및 스펙트럴(해밀토니안 기반) 네트워크 구성을 개발한다.
• 층당 O(n) 및 O(1)의 매개변수 효율성과 그래프 구조 데이터에서의 실용적 성능을 보여준다.
• 확장 가능한 순전파를 갖춘 저차원 그래프에서 딥 아키텍처를 시연한다.

제안 방법

• 공간 구성: 격자를 그래프 G=(Ω,W)로 대체; 다스케일 클러스터링을 사용해 Ω_k와 이웃 집합 N_k를 형성; k층에서 x_{k+1,j}=L_k h( ∑_i F_{k,i,j} x_{k,i} )를 계산하며 희소 F_{k,i,j}와 클러스터에 대한 풀링 L_k를 사용; 파라미터 수는 O(n).
• 스펙트럴 구성: 그래프 라플라시안 고유벡터 V를 이용해 신호를 변환; 각 층은 x_{k+1,j}= h( V ∑_i F_{k,i,j} V^T x_{k,i} )로 작동하며 스펙트럴 도메인에서 대각 F_{k,i,j}를 사용; d개의 고유벡터를 유지하면 층당 파라미터는 O(n)이며 스펙트럴 매개변수의 매끄러움으로 O(1)도 가능.
• O(1) 파라미터 구성: 고유값으로 정렬된 고유벡터를 이용해 스플라인 기반 매개변수화로 필터당 상수 파라미터를 달성하는 매끄러운 스펙트럴 매개변수를 제안; 스펙트럴 좌표를 위한 이중 그래프를 논의한다.

실험 결과

연구 질문

• RQ1 translation missing

주요 결과

• 그래프 기반 CNN은 MNIST 변형에서 완전 연결 네트워크보다 훨씬 적은 파라미터로 경쟁력 있거나 우수한 정확도를 달성할 수 있다.
• 다중 스케일 클러스터링을 가진 공간적으로 로컬 연결된 네트워크는 부분샘플링된 MNIST에서 일반적인 완전 연결 모델보다 더 나은 성능을 보인다.
• 스펙트럴 구성도 경쟁력 있으며, 스펙트럴 매개변수의 평활화는 필터의 로컬화와 일반화 성능을 향상시킨다.
• 스무딩된 스펙트럴 매개변수를 통해 O(1) 파라미터 범위를 달성할 수 있어 대형 그래프에 대한 확장 가능성이 있다.
• MNIST-스피어에서 회전이 있는 경우 그래프 기반 아키텍처가 최근접 이웃보다 크게 우수하며, 파라미터가 훨씬 적은 상태로 완전 연결 기준선을 종종 따라가거나 능가한다.