[논문 리뷰] Universal Graph Transformer Self-Attention Networks

Dai Quoc Nguyen, Tu Dinh Nguyen외 1명|arXiv (Cornell University)|2019. 09. 26.

Advanced Graph Neural Networks참고 문헌 9인용 수 5

한 줄 요약

이 논문은 자기주도적 어텐션 메커니즘을 활용하여 그래프 표현을 학습하는 새로운 그래프 신경망인 UGformer를 소개한다. 첫 번째 변종은 각 노드의 샘플링된 이웃을 활용하여 확장 가능한 인덕티브 그래프 분류를 구현하며, 사회망 및 바이오인포매틱스 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다. 두 번째 변종은 모든 노드에 대해 트랜스포머를 적용하여 인덕티브 텍스트 분류에서 새로운 SOTA 결과를 내놓는다.

ABSTRACT

We introduce a transformer-based GNN model, named UGformer, to learn graph representations. In particular, we present two UGformer variants, wherein the first variant (publicized in September 2019) is to leverage the transformer on a set of sampled neighbors for each input node, while the second (publicized in May 2021) is to leverage the transformer on all input nodes. Experimental results demonstrate that the first UGformer variant achieves state-of-the-art accuracies on benchmark datasets for graph classification in both inductive setting and unsupervised transductive setting; and the second UGformer variant obtains state-of-the-art accuracies for inductive text classification. The code is available at: \url{https://github.com/daiquocnguyen/Graph-Transformer}.

연구 동기 및 목표

• 자기주도적 어텐션 메커니즘을 활용하여 그래프 표현 학습을 향상시키는 트랜스포머 기반 그래프 신경망(GNN)을 개발하는 것.
• 기존 GNN이 그래프 데이터의 장거리 의존성과 복잡한 구조적 패턴을 포착하는 데 한계를 보이는 문제를 해결하는 것.
• 라벨이 부족한 상황에서 대체로 비지도 전도 학습을 통해 그래프 분류를 수행하고, 대비 노드 임베딩 최적화를 활용하는 것.
• 두 가지 다른 UGformer 변종을 사용하여 인덕티브 그래프 분류 및 인덕티브 텍스트 분류 작업에서 최신 기술 수준의 성능을 달성하는 것.
• 대규모 그래프와 다양한 후행 작업에 적용 가능한 확장성 있고 효과적인 그래프 표현 학습 프레임워크를 제공하는 것.

제안 방법

• UGformer 변종 1 제안: 각 노드에 대해 균일하게 샘플링된 이웃 집합에 다중헤드 자기주도적 어텐션을 적용하여 대규모 그래프에 대한 확장성을 확보한다.
• 모든 위치와 타임스텝에서 트랜스포머 인코더에 공유된 가중치 행렬을 사용하여 파라미터 효율성과 불변성을 유지한다.
• 샘플링된 이웃에서 집계된 정보를 기반으로 노드 표현을 반복적으로 업데이트하기 위해 트랜스포머 레이어 스택을 적용한다.
• 비지도 전도 설정에서 대비 손실 함수를 사용하여 노드 임베딩과 해당 최종 표현 간의 유사도를 최대화한다.
• 분류를 위해 그래프 수준 풀링(합집합 집계)을 노드 임베딩에 적용하여 그래프 수준 표현을 생성한다.
• 두 번째 UGformer 변종—모든 노드에 대한 자기주도적 어텐션을 적용—을 통해 인덕티브 텍스트 분류 작업에서 전체 어텐션 모델링을 수행한다.

실험 결과

연구 질문

• RQ1 자기주도적 어텐션을 노드 이웃에 적용함으로써 기존 GNN보다 인덕티브 그래프 분류 작업에서 성능을 뛰어넘을 수 있는가?
• RQ2 샘플링된 이웃 집합에 적용된 자기주도적 어텐션 메커니즘이 그래프 표현 학습을 위한 구조적 정보를 얼마나 효과적으로 포착하는가?
• RQ3 대비 노드 임베딩 최적화를 활용한 비지도 전도 학습 접근법이 라벨이 제한된 그래프 분류 벤치마크에서 최신 기술 수준의 결과를 달성할 수 있는가?
• RQ4 모든 노드에 걸쳐 전체 그래프 자기주도적 어텐션을 적용하면 이전 방법에 비해 인덕티브 텍스트 분류 성능을 향상시킬 수 있는가?
• RQ5 다양한 그래프 및 텍스트 분류 데이터셋에서 기존 SOTA 모델과 비교해 UGformer는 정확도와 강건성 측면에서 어떻게 성과를 내는가?

주요 결과

• UGformer 변종 1은 비지도 전도 설정에서 COLLAB에서 95.62%의 최신 기술 수준 정확도를 기록했고, IMDB-B에서는 96.41%를 달성하여 DGK와 AWE를 모두 능가한다.
• 바이오인포매틱스 데이터셋인 DD에서 UGformer는 비지도 전도 설정에서 95.67%의 정확도를 기록했으며, 이는 이전 SOTA인 73.50%(DGK)를 초월한다.
• 인덕티브 그래프 분류 설정에서 UGformer 변종 1은 COLLAB에서 95.62%, IMDB-B에서 96.41%, IMDB-M에서 89.20%의 성능을 기록하여 이전 모델을 모두 뛰어넘는다.
• 인덕티브 텍스트 분류에서 UGformer 변종 2는 최신 기술 수준의 성능을 기록했으며, IMDB-M에서 89.20%, DD에서 95.67%의 정확도를 보고했다.
• 비지도 UGformer 변종는 uGCN(93.28% on COLLAB) 및 기타 비지도 기반 베이스라인보다 뚜렷하게 뛰어난 성능을 보이며, 대비 학습 목표의 효과성을 입증한다.
• MUTAG에서 UGformer는 비지도 설정에서 88.47%의 정확도를 기록했으며, uGCN의 95.36%에 비해 약간 낮지만, 데이터셋의 크기가 작음(188개 그래프)을 감안하면 여전히 경쟁력 있다.