[논문 리뷰] Graph Convolution: A High-Order and Adaptive Approach

Zhenpeng Zhou, Xiaocheng Li|arXiv (Cornell University)|2017. 06. 29.

Advanced Graph Neural Networks참고 문헌 25인용 수 24

한 줄 요약

이 논문은 장거리 상관관계를 포착하기 위해 k번째 순서의 컨볼루션 연산자를 도입하고, 국소적 구조와 노드 특징에 기반해 이웃 노드에 가중치를 동적으로 할당하는 적응형 필터링 모듈을 갖춘 일반 목적의 GCN 프레임워크인 고차수 및 적응형 그래프 컨볼루션 네트워크(HA-GCN)를 제안한다. HA-GCN은 노드 분류, 분자 성질 예측 및 기존 모델 대비 32% 더 많은 유효한 분자 생성에서 최고 성능을 기록한다.

ABSTRACT

In this paper, we presented a novel convolutional neural network framework for graph modeling, with the introduction of two new modules specially designed for graph-structured data: the $k$-th order convolution operator and the adaptive filtering module. Importantly, our framework of High-order and Adaptive Graph Convolutional Network (HA-GCN) is a general-purposed architecture that fits various applications on both node and graph centrics, as well as graph generative models. We conducted extensive experiments on demonstrating the advantages of our framework. Particularly, our HA-GCN outperforms the state-of-the-art models on node classification and molecule property prediction tasks. It also generates 32% more real molecules on the molecule generation task, both of which will significantly benefit real-world applications such as material design and drug screening.

연구 동기 및 목표

• 기존 그래프 컨볼루션 네트워크가 복잡한 그래프 구조와 장거리 상관관계를 포착하는 데 한계를 보이는 문제를 해결하기 위해.
• 노드 중심 및 그래프 중심 작업에 모두 적용 가능한 일반 목적의 GCN 프레임워크를 설계하기 위해.
• 분자 설계를 위한 그래프 생성 모델링을 향상시켜 생성된 분자의 품질과 유효성을 높이기 위해.
• 국소적 그래프 구조와 노드 특징에 기반해 컨볼루션 가중치를 학습하는 동적이고 적응형 필터링 메커니즘을 개발하기 위해.
• 다양한 그래프 학습 작업, 예를 들어 성질 예측과 분자 생성에서 제안된 HA-GCN 프레임워크의 우수성을 입증하기 위해.

제안 방법

• 1-순서 이웃을 초월해 최대 k-호프 이내의 노드로부터 특징을 집계하는 k번째 순서 컨볼루션 연산자를 도입하여 수신 영역을 확장한다.
• 노드 특징과 국소적 그래프 연결성의 학습 가능한 함수를 사용해 동적 컨볼루션 가중치를 계산하는 적응형 필터링 모듈을 활용한다.
• 고차수 컨볼루션 연산의 안정성과 대칭성을 보장하기 위해 대칭 정규화된 인접 행렬을 사용한다.
• VAE와 AAE 학습 목표를 모두 사용하는 자동에코더 아키텍처 내에서 HA-GCN 모듈을 적용해 그래프 생성 모델링을 수행한다.
• k-호프 이웃에 대한 반복적 집계를 통해 특징을 업데이트하는 메시지 전달 방식의 아키텍처를 활용한다.
• 학습된 컨볼루션 및 필터 가중치를 시각화하여 모델 행동을 해석하고 화학적 직관(예: 아로마틱 고리의 중요성, 오르토/파라 효과)을 검증한다.

실험 결과

연구 질문

• RQ1 1-순서 이웃을 초월해 그래프 구조 데이터의 장거리 상관관계를 효과적으로 포착할 수 있는 고차수 컨볼루션 연산자가 존재하는가?
• RQ2 국소적 구조와 특징에 기반해 이웃 노드에 가중치를 동적으로 할당하는 적응형 필터링 메커니즘이 그래프 학습 작업 성능을 향상시키는가?
• RQ3 통합된 GCN 프레임워크가 노드 중심, 그래프 중심, 그래프 생성 모델링 작업 전반에서 최고 성능을 달성할 수 있는가?
• RQ4 적응형 필터가 아로마틱 고리 선호도나 오르토/파라 규칙과 같은 화학적으로 의미 있는 패턴을 어느 정도 학습하는가?
• RQ5 기존 모델 대비 HA-GCN이 약물 개발 및 재료 설계를 위한 유효하고 다양한 분자를 생성하는 데 얼마나 뛰어난가?

주요 결과

• HA-GCN은 노드 분류 및 분자 성질 예측 작업에서 기존 GCN 모델을 능가하는 최고 성능을 기록했다.
• 기존 최고 성능을 기록한 RNN 기반 Grammar VAE 대비 32% 더 많은 유효한 분자를 생성했으며, AAE 기반으로는 23.6%의 유효 분자 비율, VAE 기반으로는 20.3%의 유효 분자 비율을 달성했다.
• 컨볼루션 가중치의 시각화 결과, 인접 행렬의 대칭성으로 인해 대칭적인 패턴이 나타나고, 고차수 컨볼루션일수록 중심 노드의 가중치가 증가하는 경향을 확인했다.
• 적응형 필터는 아로마틱 고리에 있는 원자들을 우선순위로 삼아, 유기 광전지 효율성에서의 중요성을 화학적 직관과 일치시켰다.
• 적응형 필터는 벤젠 고리에서 오르토-파라 규칙을 자동으로 학습하여 중심 원자와 반대 및 인접한 위치에 있는 치환기를 더 높은 가중치로 할당했다.
• 고차수 컨볼루션 모듈이 필수적임을 입증했으며, 고차수 가중치 행렬의 비대각 블록에 큰 값이 존재해 비트리비얼한 장거리 상호작용이 있음을 시사했다.