[논문 리뷰] DAGCN: Dual Attention Graph Convolutional Networks

Fengwen Chen, Shirui Pan외 3명|arXiv (Cornell University)|2019. 04. 04.

Advanced Graph Neural Networks참고 문헌 44인용 수 7

한 줄 요약

DAGCN은 그래프 컨volution 네트워크에 이중 주의 메커니즘을 도입하여 계층적 이웃 특징을 캡처하기 위해 주의 메커니즘을 갖춘 그래프 컨볼루션 레이어와 자기 주의 풀링 레이어를 통해 그래프 수준의 표현을 개선함으로써 그래프 분류 성능을 향상시킨다. 이 모델은 NCI1, ENZYMES, NCI109와 같은 벤치마크 데이터셋에서 최신 기술 대비 뛰어난 정확도와 더 빠른 수렴 속도를 달성한다.

ABSTRACT

Graph convolutional networks (GCNs) have recently become one of the most powerful tools for graph analytics tasks in numerous applications, ranging from social networks and natural language processing to bioinformatics and chemoinformatics, thanks to their ability to capture the complex relationships between concepts. At present, the vast majority of GCNs use a neighborhood aggregation framework to learn a continuous and compact vector, then performing a pooling operation to generalize graph embedding for the classification task. These approaches have two disadvantages in the graph classification task: (1)when only the largest sub-graph structure ($k$-hop neighbor) is used for neighborhood aggregation, a large amount of early-stage information is lost during the graph convolution step; (2) simple average/sum pooling or max pooling utilized, which loses the characteristics of each node and the topology between nodes. In this paper, we propose a novel framework called, dual attention graph convolutional networks (DAGCN) to address these problems. DAGCN automatically learns the importance of neighbors at different hops using a novel attention graph convolution layer, and then employs a second attention component, a self-attention pooling layer, to generalize the graph representation from the various aspects of a matrix graph embedding. The dual attention network is trained in an end-to-end manner for the graph classification task. We compare our model with state-of-the-art graph kernels and other deep learning methods. The experimental results show that our framework not only outperforms other baselines but also achieves a better rate of convergence.

연구 동기 및 목표

• 단순히 가장 큰 k-호프 부분그래프를 사용하는 전통적인 GCNs에서 초기 단계의 이웃 정보 손실 문제를 해결한다.
• 평균, 합, 최댓값 등의 단순 풀링 연산이 노드 특이성 및 구조적 정보를 손실시키는 한계를 극복한다.
• 주의 메커니즘을 활용하여 노드 수준 표현과 그래프 수준 임베딩을 동시에 학습하는 엔드 투 엔드 트레이너블 프레임워크를 개발한다.
• 그래프의 국소적 및 전역적 구조 패턴을 모델링하여 일반화 능력과 표현 품질을 향상시킨다.

제안 방법

• 다른 호프 거리의 이웃에 대해 학습 가능한 주의 가중치를 부여하는 주의 메커니즘을 갖춘 그래프 컨볼루션(AGC) 레이어를 도입하여 계층적 특징 학습을 가능하게 한다.
• 노드 임베딩 간의 주의 계수를 계산하여 고정 크기의 종합적인 그래프 표현 행렬을 생성하는 자기 주의 풀링 레이어를 활용한다.
• 깊이 있는 아키텍처에서 학습 안정성과 기울기 흐름 향상을 위해 잔차 학습 구조를 사용한다.
• 그래프 분류를 위해 백프로파게이션을 사용하여 전체 DAGCN 프레임워크를 엔드 투 엔드로 훈련시킨다.
• 풀링 레이어에서 다중 헤드 주의를 적용하여 그래프 임베딩 행렬의 다양한 측면을 포착한다.
• 최종 그래프 임베딩 행렬에 밀집층을 적용하여 최종 분류 예측을 수행한다.

실험 결과

연구 질문

• RQ1 주의 메커니즘이 그래프 컨볼루션 네트워크에서 계층적 이웃 구조의 표현을 향상시킬 수 있는가?
• RQ2 자기 주의 풀링이 전통적인 풀링 방법보다 노드 수준 및 구조적 정보를 더 잘 유지하여 그래프 분류 성능을 향상시킬 수 있는가?
• RQ3 이중 주의 메커니즘의 엔드 투 엔드 훈련이 기존의 GCN 및 그래프 커널 방법 대비 더 빠른 수렴과 더 나은 일반화 성능을 달성할 수 있는가?
• RQ4 DAGCN은 DGCNN 및 그래프 커널과 같은 최신 기술 모델 대비 표준 그래프 분류 벤치마크에서 어떻게 성능을 내는가?
• RQ5 이중 주의 메커니즘이 이질적인 그래프 데이터셋에서 모델의 해석 가능성과 특징 학습 능력을 어느 정도 향상시키는가?

주요 결과

• DAGCN은 NCI1, ENZYMES, NCI109 데이터셋에서 그래프 커널 방법과 딥러닝 기반 베이스라인 모두보다 높은 분류 정확도를 달성한다.
• 동일한 반복 수(200회)와 학습률로 훈련하더라도 DGCNN 대비 더 빠른 수렴 속도를 보인다.
• 이중 주의 메커니즘이 국소적 서브구조와 전역적 구조 정보를 효과적으로 유지하여 그래프 컨볼루션 과정에서의 정보 손실를 줄인다.
• DAGCN의 엔드 투 엔드 훈련은 특징 추출과 표현 학습을 공동 최적화할 수 있게 하여 수동으로 설계된 특징을 사용하는 방법보다 우수한 성능을 낸다.
• DAGCN은 데이터셋 크기와 그래프 크기에 대해 선형 계산 복잡도를 보이며, 그래프 커널과 달리 복잡도가 제곱 및 지수적으로 증가하지 않는다.
• 자기 주의 풀링 레이어는 주목할 만한 노드와 서브그래프에 집중하여 압축적이고 정보가 풍부한 그래프 임베딩 행렬을 성공적으로 생성하여 모델 성능을 향상시켰다.