[논문 리뷰] A Generalization of Convolutional Neural Networks to Graph-Structured Data

Yotam Hechtlinger, Purvasha Chakravarti외 1명|arXiv (Cornell University)|2017. 04. 26.

Computational Drug Discovery Methods참고 문헌 20인용 수 76

한 줄 요약

논문은 CNN을 그래프-구조 데이터로 일반화하여 무작위 워크 기반 그래프 컨볼루션을 통해 가중치 공유 및 다양한 그래프 간 전이 가능하게 하며; MNIST와 Merck 데이터셋에서 경쟁력 있는 결과를 보인다.

ABSTRACT

This paper introduces a generalization of Convolutional Neural Networks (CNNs) from low-dimensional grid data, such as images, to graph-structured data. We propose a novel spatial convolution utilizing a random walk to uncover the relations within the input, analogous to the way the standard convolution uses the spatial neighborhood of a pixel on the grid. The convolution has an intuitive interpretation, is efficient and scalable and can also be used on data with varying graph structure. Furthermore, this generalization can be applied to many standard regression or classification problems, by learning the the underlying graph. We empirically demonstrate the performance of the proposed CNN on MNIST, and challenge the state-of-the-art on Merck molecular activity data set.

연구 동기 및 목표

• CNN을 격자 데이터에서 그래프로 확장하기 위해 지역 연결성 및 정상성 특성을 활용한다는 동기를 부여한다.
• 랜덤 워크를 사용해 근접 이웃을 선택하고 공유 가중치를 사용하는 공간 그래프 컨볼루션을 도입한다.
• 다양한 그래프 구조에서 그래프 CNN의 확장성 및 전이 가능성을 입증한다.
• MNIST 및 Merck 분자 활성 데이터에서 기존 방법과 비교한 경험적 성능을 보여준다.

제안 방법

• 전이 확률 행렬 P에서 계산된 랜덤 워크의 기대 방문으로 선택된 각 노드의 상위 p 이웃을 사용하는 그래프 컨볼루션을 정의한다.
• Q^(k)의 i-번째 행(Q^(k)=sum_{i=0}^k P^i)을 이용해 이웃을 정렬하고 모든 노드에서 공유 가중치를 갖는 내적을 적용한다.
• 그래프가 사전에 알려지지 않은 경우 유사도/상관 행렬을 통해 그래프 구조를 학습하게 허용한다.
• GPU 가속 및 레이어당 O(N p) 복잡도로 확장 가능한 텐서 도트곱 형태로 컨볼루션을 구현한다.
• 두 가지 변형 Conv_1과 Conv_2를 제공하되, Conv_1은 이웃 정렬에 초점을 맞추고 Conv_2는 부호 보정 항을 도입한다; 실험적으로 Conv_1으로 충분한 것으로 나타났다.

실험 결과

연구 질문

• RQ1 CNN을 비-격자 그래프 데이터로도 가중치 공유 및 국소성을 보존하며 의미 있게 일반화할 수 있는가?
• RQ2 그래프를 고정시키지 않고 서로 다른 그래프 구조에 적응하는 전이 가능하고 확장 가능한 그래프 컨볼루션을 어떻게 정의할 것인가?
• RQ3 learned 혹은 추론된 그래프를 사용하는 그래프 CNN이 표준 벤치마크(MNIST, Merck 데이터 등)에서 격자 기반 또는 스펙트럴 방법과 비교해 경쟁력 있는 성능을 보이는가?

주요 결과

방법	아키텍처	R^2
OLS Regression		0.135
Random Forest		0.232
Merck winner DNN		0.224
Spectral Networks	C _{64}-P 8 -C 64 -P 8 -FC 1000	0.204
Spectral Networks	C 16 -P 4 -C 16 -P 4 -FC 1000	0.277
(지도 그래프)
Fully connected NN	FC 300 -FC 100	0.195
Graph CNN	C 10	0.246
Graph CNN	C 10 -FC 100	0.258
Graph CNN	C 10 -C 20 -FC 300	0.264

• 제안된 그래프 컨볼루션은 forward 패스당 및 메모리에서 확장 가능한 O(N p) 플롭스를 달성하여 GPU 구현이 가능하다.
• Q^(k)을 통한 랜덤 워크 기반 이웃 선택은 그래프에서의 자연스럽고 전이 가능하며 효과적인 컨볼루션을 가능하게 한다.
• Merck DPP4 데이터셋에서 학습된 그래프 구조를 갖는 Graph CNN은 여러 baselines 및 최첨단 스펙트럴 방법과 경쟁력 있는 또는 앞서는 R^2 값을 달성한다.
• MNIST에서 그래프 기반 접근법은 격자 유사 그래프를 사용할 때 일반 CNN과 비슷한 성능을 달성하고, 매개변수가 훨씬 적은 완전 연결 네트워크를 크게 능가한다.
• 이 방법은 그래프 구조를 학습하는 것이 표준 회귀/분류 작업이 그래프 컨볼루션의 이점을 얻도록 할 수 있음을 보여준다.