[논문 리뷰] Graph Convolutional Neural Networks via Motif-based Attention

Hao Peng, Jianxin Li외 4명|arXiv (Cornell University)|2018. 11. 11.

Advanced Graph Neural Networks참고 문헌 43인용 수 8

한 줄 요약

이 논문은 기질 매칭을 통한 부분그래프 정규화와 부분그래프 수준의 자기주도 어텐션을 사용하는 새로운 그래프 컬러션 네트워크인 MA-GCNN을 제안한다. 기질 매칭을 통해 그래프 데이터를 격자 구조의 표현으로 변환하고 부분그래프 간 어텐션을 적용함으로써, 생물정보학 및 사회망 데이터셋에서 기존의 딥러닝 및 그래프 커널 방법보다 유의미한 정확도 향상을 이룩한 상태최고 성능을 달성한다.

ABSTRACT

Many real-world problems can be represented as graph-based learning problems. In this paper, we propose a novel framework for learning spatial and attentional convolution neural networks on arbitrary graphs. Different from previous convolutional neural networks on graphs, we first design a motif-matching guided subgraph normalization method to capture neighborhood information. Then we implement subgraph-level self-attentional layers to learn different importances from different subgraphs to solve graph classification problems. Analogous to image-based attentional convolution networks that operate on locally connected and weighted regions of the input, we also extend graph normalization from one-dimensional node sequence to two-dimensional node grid by leveraging motif-matching, and design self-attentional layers without requiring any kinds of cost depending on prior knowledge of the graph structure. Our results on both bioinformatics and social network datasets show that we can significantly improve graph classification benchmarks over traditional graph kernel and existing deep models.

연구 동기 및 목표

• 임의의 그래프에서 풍부한 공간적 및 구조적 정보를 캡처하는 데 도전하는 것.
• 기존 그래프 컬러션 네트워크가 사전 지식에 의존하거나 부분그래프 수준의 중요도를 모델링하지 못하는 한계를 극복하는 것.
• 구조적 사전 지식이 필요 없이 다양한 부분그래프에 대해 동적 가중치를 학습하는 부분그래프 수준의 어텐션 메커니즘을 개발하는 것.
• 새로운 정규화 및 컬러션 기법을 통해 이웃 및 기질 수준의 구조적 정보를 유지함으로써 그래프 분류 정확도를 향상시키는 것.
• 다양한 그래프 유형으로 일반화되는 종단간, 해석 가능한 프레임워크를 제공하는 것.

제안 방법

• 기질 매칭을 통한 부분그래프 정규화 방법을 제안하여 그래프 구조 데이터를 공간 관계를 유지한 2차원 격자 구조 표현으로 변환한다.
• 정규화된 부분그래프에서 작동하는 부분그래프 독립형 컨볼루션 신경망을 설계하여 풀링 없이 부분그래프 수준의 특징 학습을 가능하게 한다.
• 다른 부분그래프 간의 어텐션 가중치를 계산하여 더 구분력 있는 부분구조를 동적으로 강조하는 부분그래프 수준의 자기주도 어텐션 메커니즘을 도입한다.
• 각 부분그래프 내에서 여러 컨볼루션 커널의 특징 맵을 연결하고, 자기주도 어텐션을 적용하여 각 부분그래프 벡터의 중요도 점수를 학습한다.
• 기질 매칭을 활용해 다양한 크기와 순서가 없는 그래프 간에 일관된 부분그래프 템플릿을 정의함으로써 일관된 표현 학습을 가능하게 한다.
• 기질 매칭, 부분그래프 컨볼루션, 자기주도 어텐션을 통합한 종단간 학습 프레임워크를 도입하여 공동 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 기질 매칭 기반의 부분그래프 정규화가 임의의 그래프에서 공간적 및 구조적 정보를 효과적으로 유지할 수 있는가?
• RQ2 부분그래프 수준의 자기주도 어텐션은 다양한 부분그래프에 대해 동적 중요도 가중치를 학습함으로써 그래프 분류 성능을 향상시킬 수 있는가?
• RQ3 제안된 MA-GCNN 프레임워크가 다양한 그래프 분류 벤치마크에서 기존의 그래프 커널 및 딥러닝 방법보다 우수한 성능을 보일 수 있는가?
• RQ4 생물정보학 및 사회망과 같은 다양한 유형의 그래프에서, 노드 속성 특성이 상이한 경우 모델의 성능은 어떻게 되는가?
• RQ5 어텐션 메커니즘이 분류에 가장 예측력 있는 부분그래프 패턴을 제공하는 데 있어 해석 가능한 통찰을 줄 수 있는가?

주요 결과

• MA-GCNN은 다섯 개인 생물정보학 데이터셋에서 상태최고 성능을 달성하였으며, IMDB-BINARY에서는 77.20% ± 2.96, IMDB-MULTI에서는 53.77% ± 3.11의 정확도로 모든 베이스라인을 압도하였다.
• PTC 데이터셋에서 MA-GCNN은 71.77%의 정확도를 기록하였으며, 최고의 베이스라인(NEST) 대비 4.35% 향상되었다.
• D&D 데이터셋에서 MA-GCNN은 89.44%의 정확도를 기록하였으며, DIFFPOOL 대비 1.25% 향상되었고 표준편차가 더 낮았다.
• NCI1 데이터셋에서 MA-GCNN은 75.10% ± 3.14의 정확도를 기록하였으며, PSCN 대비 3.18% 향상되었고, 10개의 교차검증 중 6개에서 상태최고 성능을 달성하였다.
• 사회망 데이터셋에서는 각각 IMDB-B, IMDB-M, REDDIT-BINARY, REDDIT-MULTU-5K, REDDIT-MULTU-12K에서 최고의 베이스라인 대비 평균 정확도가 2.75%, 0.69%, 0.92%, 1.44%, 1.10% 향상되었다.
• 모든 데이터셋에서 낮은 표준편차를 보이며 일관되고 강력한 성능을 나타내었다.