[논문 리뷰] Dynamic Edge-Conditioned Filters in Convolutional Neural Networks on Graphs

Martin Simonovsky, Nikos Komodakis|arXiv (Cornell University)|2017. 04. 10.

Data Visualization and Analytics참고 문헌 35인용 수 50

한 줄 요약

본 논문은 Edge-Conditioned Convolution (ECC)를 소개합니다. 이는 필터 가중치를 에지 라벨에 따라 동적으로 생성하는 공간 도메인 그래프 합성으로, 구조가 가변적인 그래프에서 학습이 가능하고 Sydney LiDAR 포인트 클라우드에서 최첨단 성능을 달성하며 그래프 벤치마크에서도 강력한 성능을 보입니다.

ABSTRACT

A number of problems can be formulated as prediction on graph-structured data. In this work, we generalize the convolution operator from regular grids to arbitrary graphs while avoiding the spectral domain, which allows us to handle graphs of varying size and connectivity. To move beyond a simple diffusion, filter weights are conditioned on the specific edge labels in the neighborhood of a vertex. Together with the proper choice of graph coarsening, we explore constructing deep neural networks for graph classification. In particular, we demonstrate the generality of our formulation in point cloud classification, where we set the new state of the art, and on a graph classification dataset, where we outperform other deep learning approaches. The source code is available at https://github.com/mys007/ecc

연구 동기 및 목표

• CNN 유사 필터링을 임의의 그래프에 일반화하면서 가변 연결성을 처리한다.
• 에지 라벨을 이용해 컨볼루션 필터를 조건화하고 동적으로 생성한다.
• 포인트 클라우드와 표준 그래프 분류 벤치마크에서 방법을 시연한다.
• 그래프 코어싱과 풀링을 사용하는 네트워크 아키텍처를 조사해 깊은 그래프 분류기를 구축한다.

제안 방법

• 각 이웃의 에지 라벨 L(j,i)가 고유한 필터 Θ_{ji}^l를 필터-생성 네트워크 F^l를 통해 생성하게 하는 Edge-Conditioned Convolution (ECC)를 정의한다.
• Xi^l(i)를 이웃의 Θ_{ji}^l X^{l-1}(j)의 평균과 편향으로 계산해, 지역 구조 정보가 필터링에 영향을 주도록 한다.
• 격자에서 적절한 에지 라벨링이 주어지면 ECC가 일반 합성곱으로 수렴하는 것을 보인다(일반 합성곱을 일반화한다).
• 그래프에서 코어싱/풀링을 사용해 그래프 분류를 위한 계층적 네트워크를 구축한다.
• 유사도 공간 이웃으로부터 그래프를 구성하고 공간 편차를 포착하는 에지 라벨을 사용해 포인트 클라우드에 ECC를 적용한다.
• Sydney Urban Objects, ModelNet, NCI/MUTAG/enzymes/D&D 그래프 데이터셋, 그리고 MNIST를 그래프 기반 실험으로 평가한다.

실험 결과

연구 질문

• RQ1 ECC가 에지 라벨을 활용해 다양한 구조의 그래프에서 국소 민감 필터링을 개선할 수 있는가?
• RQ2 ECC의 성능은 포인트 클라우드 및 표준 그래프 벤치마크에서 기존 그래프 합성곱 및 체적 방법과 어떻게 비교되는가?
• RQ3 그래프 코어링과 풀링이 그래프 분류를 위한 효과적인 심층 아키텍처를 얼마나 가능하게 하는가?
• RQ4 Sydney LiDAR 데이터 및 ModelNet 같은 도전적 데이터셋에서 ECC가 최첨단 방법과 경쟁할 수 있는가?
• RQ5 에지 라벨의 포함 여부가 다양한 데이터셋에서 성능에 어떤 영향을 미치는가?

주요 결과

• ECC는 비교된 방법들 가운데 Sydney Urban Objects에서 평균 F1이 최첨단인 결과를 달성한다(ECC 78.4).
• 다른 반경을 가진 ECC 변형은 중간 규모의 이웃이 바람직하다는 것을 보여주며, 적절한 스킵 연결 없이 더 큰 반경을 사용할 경우 정확도가 약간 저하될 수 있다.
• ModelNet10/40에서 ECC는 매우 경쟁력이 있으며, 12-view voting으로 평균 정확도 90.8%까지 달성한다.
• 표준 그래프 벤치마크(NCI1, NCI109, MUTAG, ENZYMES, D&D)에서 ECC는 여러 베이스라인 수준이거나 그 이상으로 동작하며, 에지 라벨의 사용이 에지 라벨을 생략한 변형에 비해 명확한 이점을 제공한다.
• MNIST 실험은 이 격자 기반 작업에서 최첨단 수준을 따라가며 에지 조건부 필터를 학습한다.