[논문 리뷰] Hierarchical Bipartite Graph Convolution Networks

Marcel Nassar|arXiv (Cornell University)|2018. 11. 17.

Advanced Graph Neural Networks참고 문헌 6인용 수 4

한 줄 요약

이 논문은 입력 노드 집합과 출력 노드 집합을 분리함으로써 그래프 컨볼루션을 일반화하는 계층적 이분 그래프 컨볼루션 네트워크인 BiGraphNet을 소개한다. 이를 통해 다진화된 컨볼루션, 그래프 확장, 다중 그래프 앙상블 등의 효율적인 연산을 가능하게 하며, ModelNet10 및 MNIST 벤치마크에서 계산량과 메모리 사용량을 줄이며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recently, graph neural networks have been adopted in a wide variety of applications ranging from relational representations to modeling irregular data domains such as point clouds and social graphs. However, the space of graph neural network architectures remains highly fragmented impeding the development of optimized implementations similar to what is available for convolutional neural networks. In this work, we present BiGraphNet, a graph neural network architecture that generalizes many popular graph neural network models and enables new efficient operations similar to those supported by ConvNets. By explicitly separating the input and output nodes, BiGraphNet: (i) generalizes the graph convolution to support new efficient operations such as coarsened graph convolutions (similar to strided convolution in convnets), multiple input graphs convolution and graph expansions (unpooling) which can be used to implement various graph architectures such as graph autoencoders, and graph residual nets; and (ii) accelerates and scales the computations and memory requirements in hierarchical networks by performing computations only at specified output nodes.

연구 동기 및 목표

• 다양한 GNN 모델을 하나의 일반화 가능한 프레임워크로 통합함으로써 그래프 신경망 아키텍처의 분열 문제를 해결하는 것.
• 입력 노드와 출력 노드를 명시적으로 분리함으로써, 스트라이드 컨볼루션, 언풀링, 스킵 커넥션과 같은 ConvNet 유사 연산을 GNN에서 효율적으로 구현하는 것.
• 모든 입력 노드가 아닌 출력 노드에서만 계산을 수행함으로써 계층적 GNN에서의 계산 및 메모리 오버헤드를 줄이는 것.
• 다중 그래프 앙성과 구조적 그래프 변환을 통해 그래프 오토에인코더 및 잔차 네트워크와 같은 새로운 아키텍처를 지원하는 것.

제안 방법

• 입력 노드 집합과 출력 노드 집합이 서로 다른 이분 그래프 컨볼루션 연산자를 제안하여, 다양한 그래프 변환을 유연하게 가능하게 한다.
• 모서리 특징에 대해 이웃 영역의 특징을 줄임(예: 합, 평균, 최대값)하고, 엣지 레이블 또는 노드 특징에 따라 조절되는 학습 가능한 커널로 가중치를 적용한다.
• 관계형 특징 학습을 위한 엣지 조건부 및 어텐션 기반 커널을 도입하며, 새로운 엣지 조건부 어텐션 메커니즘을 제안한다.
• 클러스터링을 통한 그래프 다진화와 언풀링을 통한 그래프 확장을 통해, ConvNet의 스트라이드 및 전치 컨볼루션을 모방한다.
• 다중 입력 그래프에서 동일한 출력 노드 집합을 공유함으로써 다중 그래프 앙성 기능을 지원하며, 스킵 커넥션과 특징 융합을 가능하게 한다.
• 계산을 출력 노드에서만 수행함으로써 복잡도를 O(|V_o|)로 감소시켜 계층적 환경에서의 확장성 향상에 기여한다.

실험 결과

연구 질문

• RQ1 통합된 그래프 컨볼루션 프레임워크가 다양한 GNN 모델을 일반화하고 다진화 및 확장과 같은 새로운 연산을 가능하게 할 수 있는가?
• RQ2 이분 그래프 컨볼루션은 그래프 구조 데이터에서 스트라이드 컨볼루션과 언풀링과 같은 핵심 ConvNet 연산을 어떻게 모방할 수 있는가?
• RQ3 공유된 출력 노드를 통한 다중 그래프 앙성은 그래프 오토에인코더에서 스킵 커넥션을 효과적으로 구현할 수 있는가?
• RQ4 제안된 BiGraphNet 아키텍처는 점군 및 이미지 분류 작업에서 기존 GNN보다 더 높은 성능과 효율성을 달성할 수 있는가?

주요 결과

• BiGraphNet는 ModelNet10 벤치마크에서 92.95%의 정확도를 기록하여 ECC 모델(89.3%)을 능가하고, 동일 데이터셋에서 보고된 최고 성능(98.46%)에 근접한다.
• MNIST-as-graph 벤치마크에서 20 에포크 후 BiGraphNet는 97.71%의 정확도를 달성하여 평균 풀링 ECC 변종(97.59%)을 略히 능가하고 최대 풀링 ECC(99.05%)에 근접한다.
• 스킵 커넥션을 갖춘 BiGraphNet 기반 그래프 오토에인코더는 테스트 MSE 0.066을 기록하여 MLP(0.088), ConvNet(0.094), 표준 그래프 오토에인코더(0.086)를 크게 앞선다.
• 계산 복잡도를 출력 노드에 국한함으로써 O(|V_o|)로 감소시켜 계층적 GNN에서 상당한 메모리 및 속도 향상을 이룬다.
• 별도의 풀링 레이어가 필요 없이 그래프 다진화, 확장, 다중 그래프 앙성과 같은 플러그 앤 플레이 연산을 지원한다.
• 기존 그래프 컨볼루션을 일반화하며, 구조적 이분 그래프 설계를 통해 잔차 네트워크와 오토에인코더를 구현할 수 있다.