[논문 리뷰] Residual Gated Graph ConvNets

Xavier Bresson, Thomas Laurent|arXiv (Cornell University)|2017. 11. 20.

Advanced Graph Neural Networks참고 문헌 25인용 수 246

한 줄 요약

논문은 변수 길이 그래프에서 그래프 RNN과 그래프 ConvNets를 엄격하게 비교하고, 잔여 게이트 그래프 ConvNets를 제안하며, ConvNets가 정확도와 속도 면에서 RNN보다 우수하다고 주장하며, 잔여가 추가 이점을 제공한다.

ABSTRACT

Graph-structured data such as social networks, functional brain networks, gene regulatory networks, communications networks have brought the interest in generalizing deep learning techniques to graph domains. In this paper, we are interested to design neural networks for graphs with variable length in order to solve learning problems such as vertex classification, graph classification, graph regression, and graph generative tasks. Most existing works have focused on recurrent neural networks (RNNs) to learn meaningful representations of graphs, and more recently new convolutional neural networks (ConvNets) have been introduced. In this work, we want to compare rigorously these two fundamental families of architectures to solve graph learning tasks. We review existing graph RNN and ConvNet architectures, and propose natural extension of LSTM and ConvNet to graphs with arbitrary size. Then, we design a set of analytically controlled experiments on two basic graph problems, i.e. subgraph matching and graph clustering, to test the different architectures. Numerical results show that the proposed graph ConvNets are 3-17% more accurate and 1.5-4x faster than graph RNNs. Graph ConvNets are also 36% more accurate than variational (non-learning) techniques. Finally, the most effective graph ConvNet architecture uses gated edges and residuality. Residuality plays an essential role to learn multi-layer architectures as they provide a 10% gain of performance.

연구 동기 및 목표

• 사회, 뇌, 규제 등 다양한 도메인에서 가변 길이의 그래프 위에서 작동하는 신경망의 필요성을 동기화한다.
• 그래프 순환 신경망(RNN)과 그래프 합성곱 신경망(ConvNet)을 비교하고 이를 임의의 그래프 크기로 확장한다.
• 깊은 그래프 모델의 성능과 학습을 개선하기 위해 잔여 게이트 그래프 ConvNet를 설계하고 평가한다.

제안 방법

• 기존의 그래프 RNN 및 ConvNet 아키텍처를 검토한다.
• 엣지 게이팅이 있는 다계층 그래프 LSTM과 게이트된 그래프 ConvNet를 제안한다.
• 더 깊은 아키텍처를 가능하게 하도록 층 간 잔여 연결을 포함한다.
• 부분그래프 매칭 및 그래프 클러스터링에 대한 해석적으로 제어된 실험을 사용하여 모델을 비교한다.
• 공정한 비교를 보장하기 위해 배치 정규화와 표준 최적화 스케줄을 채택한다.

실험 결과

연구 질문

• RQ1 임의의 크기와 깊이를 가진 그래프를 더 잘 처리하는 아키텍처는 무엇인가—그래프 RNN 혹은 그래프 ConvNets?
• RQ2 게이트된 엣지와 잔여 연결이 그래프 구조 작업의 학습을 개선하는가?
• RQ3 다양한 노이즈 및 예산 제약 하에서 부분그래프 매칭 및 그래프 클러스터링에서 서로 다른 아키텍처의 성능은 어떠한가?

주요 결과

• 그래프 ConvNets는 테스트된 과제에서 그래프 RNN보다 정확도가 3-17% 높고 학습 속도는 1.5-4배 빠르다.
• 그래프 ConvNets는 같은 과제에서 변분(비학습) 기법보다 36% 더 정확하다.
• 가장 효과적인 그래프 ConvNet은 게이트된 엣지와 잔여 연결을 사용한다.
• 잔여성은 6개 이상 층을 쌓을 때 약 10%의 성능 이점을 제공한다.
• ConvNet 아키텍처는 깊이가 증가하면 이점을 얻는 반면, RNN 기반 모델은 너무 많은 층에서 성능이 저하될 수 있다.