[논문 리뷰] Learning Convolutional Neural Networks for Graphs

Mathias Niepert, Mohamed M. Ahmed외 1명|arXiv (Cornell University)|2016. 05. 17.

Advanced Graph Neural Networks인용 수 816

한 줄 요약

Patchy-san은 임의의 그래프에 CNN을 적용하기 위해 노드 시퀀스를 선택하고, 고정 크기의 로컬 이웃을 추출 및 정규화하며, CNN으로 학습하는 프레임워크를 구축하여 그래프 커널과 경쟁력 있는 성능을 달성하고 확장 가능한 성능을 확보한다.

ABSTRACT

Numerous important problems can be framed as learning from graph data. We propose a framework for learning convolutional neural networks for arbitrary graphs. These graphs may be undirected, directed, and with both discrete and continuous node and edge attributes. Analogous to image-based convolutional networks that operate on locally connected regions of the input, we present a general approach to extracting locally connected regions from graphs. Using established benchmark data sets, we demonstrate that the learned feature representations are competitive with state of the art graph kernels and that their computation is highly efficient.

연구 동기 및 목표

• 격자 구조 데이터를 넘는 광범위한 그래프에 CNN을 적용하도록 동기를 부여한다.
• 다양한 속성을 지닌 그래프에서 로컬 고정 크기의 수용 영역을 생성하기 위한 프레임워크(Patchy-san)를 개발한다.
• 수작 handcrafted 그래프 커널 없이 CNN을 사용하여 엔드투엔드로 그래프 표현을 학습한다.
• 벤치마크 데이터세트에서 최첨단 그래프 커널과의 효율성 및 경쟁력 있는 성능을 입증한다.

제안 방법

• 고정된 노드 대응이 없는 그래프를 처리하기 위해 Patchy-san(Select-Assemble-Normalize)를 정의한다.
• 그래프 라벨링 절차(예: Weisfeiler-Lehman)를 사용하여 노드를 정렬하고 크기 k의 정규화된 수용 필드를 생성한다.
• 반경 이웃 구성으로 BFS를 이용해 최대 k 노드까지 수용 필드를 구성하고 표준 표기법으로 정규화하여 고정 벡터 공간에 매핑한다.
• 패치를 순서대로 CNN 구성요소(합성곱/완전 연결 계층)에 입력하여 그래프 표현을 학습한다.
• 이론적 결과를 제시한다: 최적의 그래프 정규화의 NP-hard성 및 Patchy-san이 격자에서의 표준 CNN을 에뮬레이션할 수 있는 조건.
• 그래프 수에 대해 선형에 가까운 복잡도와 효율적인 패치 생성을 통해 확장성을 시연한다.

실험 결과

연구 질문

• RQ1 정렬된 노드 대응 없이 보지 않은 그래프에서 Patchy-san이 분류 및 회귀를 위한 판별적 그래프 표현을 학습할 수 있는가?
• RQ2 표준 벤치마크에서 CNN 기반 그래프 표현이 전통적 그래프 커널에 비해 얼마나 잘 수행하는가?
• RQ3 패치 생성 및 정규화의 계산적 트레이드오프는 무엇이며 표기 선택이 성능에 어떤 영향을 미치는가?
• RQ4 Patchy-san은 이론적 연결을 보존하면서 이미지의 CNN을 임의의 그래프 토폴로지에 일반화할 수 있는가?

주요 결과

• Patchy-san은 여러 벤치마크 데이터셋에서 최첨단 그래프 커널과 경쟁력 있는 정확도를 달성한다.
• 이 방법은 그래프 수에 따라 선형적으로 확장되며 수용 필드 계산이 병렬 가능하므로 대형 그래프에서도 효율적이다.
• 1-WL 기반 정규화를 사용하여 수용 필드는 격자 그래프에서 첫 번째 CNN 계층을 에뮬레이션할 수 있으며 특정 경우에 이론적 등가성을 확립한다.
• 그래프 분류 실험에서 수용 필드 크기가 대략 10인 Patchy-san이 종종 모든 데이터셋에서 최고 정확도를 보인다.
• Patchy-san은 노드 속성과 엣지 속성 모두를 지원하며 간단한 전처리(예: 정규화된 노드 차수)를 통해 연속 특징을 통합할 수 있다.
• 패치에서 학습된 RBM을 이용한 그래프 모티브를 시각화한 실험은 모델이 학습한 해석 가능한 로컬 구조를 보여준다.