[논문 리뷰] Universal Self-Attention Network for Graph Classification

Dai Quoc Nguyen, Tu Dinh Nguyen외 1명|arXiv (Cornell University)|2019. 09. 26.

Advanced Graph Neural Networks인용 수 13

한 줄 요약

U2GNN는 트랜스포머 기반의 자기주의성 어텐션과 순환 메시지 전파를 활용하여 향상된 노드 임베딩을 학습하고, 이를 그래프 수준의 표현으로 집계하는 보편적인 자기주의성 어텐션 그래프 신경망을 제안한다. 이는 지도 학습 및 비지도 학습 모두에서 최신 기준 성능을 달성하며, 비지도 사전 훈련을 통해 분류 정확도를 향상시킨 최초의 GNN 기반 모델이다.

ABSTRACT

Existing graph neural network-based models have biasedly used a supervised setting for graph classification, and they often share the conventional limitations in exploiting potential dependencies among nodes. To this end, we present U2GNN -- a novel embedding model leveraging the strength of the transformer self-attention network -- to learn low-dimensional embeddings of graphs. In particular, given an input graph, U2GNN applies a self-attention mechanism followed by a recurrent transition to update vector representation of each node from its neighbors. Thus, U2GNN can address the limitations in the existing models to produce plausible node embeddings whose sum is the final embedding of the whole graph. Experimental results in both supervised and unsupervised settings show that our U2GNN achieves new state-of-the-art performances on a range of well-known benchmark datasets for the graph classification task. To the best of our knowledge, this is the first work to train a GNN-based model in the unsupervised setting to improve classification performance.

연구 동기 및 목표

• 기존 그래프 신경망이 지도 학습에 크게 의존하고 노드 간 깊은 의존성을 활용하지 못하는 한계를 해결하기 위해.
• 자기주의성 어텐션 메커니즘을 통해 그래프 내 장거리 의존성을 효과적으로 포착할 수 있는 통합 프레임워크를 개발하기 위해.
• GNN에서 거의 탐색되지 않은 영역인 비지도 설정에서 효과적인 그래프 분류를 가능하게 하기 위해.
• 향상된 노드 표현을 집계하여 고품질의 저차원 그래프 임베딩을 생성하기 위해.
• 비지도 사전 훈련이 최종 그래프 분류 성능을 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• U2GNN는 이웃 노드의 맥락 정보를 기반으로 자기주의성 어텐션 메커니즘을 적용하여 노드 표현을 갱신한다.
• 다중 라운드의 메시지 전파를 통해 반복적으로 노드 임베딩을 정교화하는 순환 전이 메커니즘을 사용한다.
• 노드 표현은 그래프 내 모든 다른 노드를 고려하여 갱신되어 근접한 이웃을 초월한 장거리 의존성을 포착한다.
• 최종 그래프 임베딩은 갱신된 노드 표현의 합을 통해 구하여 전역적인 그래프 수준의 표현을 형성한다.
• 모델은 지도 및 비지도 설정 모두에서 엔드 투 엔드로 훈련되며, 비지도 사전 훈련을 통해 최종 성능 향상이 가능하다.
• 아키텍처는 보편적으로 설계되어 아키텍처 수정 없이 다양한 그래프 분류 작업에 적용 가능하다.

실험 결과

연구 질문

• RQ1 자기주의성 어텐션 메커니즘이 그래프 구조 데이터 내 노드 간 복잡한 의존성을 효과적으로 포착할 수 있는가?
• RQ2 GNN 기반 모델의 비지도 사전 훈련이 그래프 분류 작업 성능 향상에 기여할 수 있는가?
• RQ3 제안된 메시지 전파 메커니즘은 전통적인 GNN 집계 전략에 비해 표현 품질 측면에서 어떻게 비교되는가?
• RQ4 자기주의성 어텐션과 순환 구조의 사용이 노드 및 그래프 임베딩 품질을 얼마나 향상시키는가?
• RQ5 통합 아키텍처가 지도 및 비지도 그래프 분류 벤치마크에서 최고 성능을 달성할 수 있는가?

주요 결과

• U2GNN는 지도 및 비지도 설정에서 다수의 벤치마크 그래프 분류 데이터셋에서 새로운 최고 성능을 달성한다.
• 비지도 사전 훈련 단계가 최종 분류 정확도를 크게 향상시켜, GNN에서 자기지도 학습의 효과성을 입증한다.
• 자기주의성 어텐션 메커니즘은 표준 메시지 전파 GNN에 비해 장거리 의존성을 더 잘 모델링할 수 있다.
• 순환 전이 메커니즘은 반복적인 정교화를 통해 노드 표현 학습을 향상시킨다.
• 갱신된 노드 표현의 합으로 유도된 최종 그래프 임베딩은 매우 구분력 있고 압축된 그래프 수준의 특징을 제공한다.
• 이 연구는 비지도 훈련이 GNN 기반 모델의 그래프 분류 성능 향상에 기여할 수 있음을 처음으로 입증한 작업이다.