[논문 리뷰] Graph External Attention Enhanced Transformer

Jianqing Liang, Min Chen외 1명|arXiv (Cornell University)|2024. 05. 31.

EEG and Brain-Computer Interfaces인용 수 4

한 줄 요약

이 논문은 그래프 간 상관관계를 경량적인 그래프 외부 어텐션(GEA) 기반으로 통합함으로써 그래프 표현 학습을 향상시키는 새로운 트랜스포머 기반 아키텍처인 Graph External Attention Enhanced Transformer(GEAET)을 제안한다. 외부 노드/엣지 키-밸류 유닛을 활용함으로써 GEAET는 그래프 간의 전반적인 구조적 유사성을 포착하여, 위치 인코딩 의존도를 줄이며 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

The Transformer architecture has recently gained considerable attention in the field of graph representation learning, as it naturally overcomes several limitations of Graph Neural Networks (GNNs) with customized attention mechanisms or positional and structural encodings. Despite making some progress, existing works tend to overlook external information of graphs, specifically the correlation between graphs. Intuitively, graphs with similar structures should have similar representations. Therefore, we propose Graph External Attention (GEA) -- a novel attention mechanism that leverages multiple external node/edge key-value units to capture inter-graph correlations implicitly. On this basis, we design an effective architecture called Graph External Attention Enhanced Transformer (GEAET), which integrates local structure and global interaction information for more comprehensive graph representations. Extensive experiments on benchmark datasets demonstrate that GEAET achieves state-of-the-art empirical performance. The source code is available for reproducibility at: https://github.com/icm1018/GEAET.

연구 동기 및 목표

• 기존 그래프 표현 모델이 내부 그래프 구조에만 집중하고 그래프 간 상관관계를 忽시하는 한계를 해결하기 위해.
• 장거리 의존성 모델링을 향상시키고 GNN에서의 과도한 쌓힘(over-squashing) 및 과도한 스무딩(over-smoothing) 문제를 완화하기 위해.
• 위치 인코딩에 크게 의존하지 않고도 그래프 간의 구조적 유사성을 암묵적으로 학습할 수 있는 자기어텐션 메커니즘을 설계하기 위해.
• 국소적 구조 정보와 전역적 그래프 간 상호작용을 통합하여 더 포괄적인 그래프 표현을 얻기 위해.
• 표준 그래프 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하면서도 해석 가능성과 효율성을 유지하기 위해.

제안 방법

• 기타 그래프에서 유래한 외부 키-밸류 유닛을 사용하여 그래프 간 상관관계를 모델링하는 새로운 어텐션 메커니즘인 그래프 외부 어텐션(GEA)을 제안한다.
• 쿼리 벡터는 한 개의 그래프에서 유도되고, 키-밸류 쌍은 외부 그래프 집합에서 추출되는 다중 헤드 어텐션 메커니즘을 도입한다.
• 국소적 구조 학습을 위한 GCN 또는 GIN 인코더와 전역 상호작용 모델링을 위한 GEA 모듈을 결합한 하이브리드 아키텍처인 GEAET를 설계한다.
• 노드 및 엣지에 대해 학습 가능한 외부 키-밸류 유닛을 도입하여, 모델이 그래프 간의 구조적 유사성을 암묵적으로 포착할 수 있도록 한다.
• 외부 어텐션을 통해 구조적 유사성을 활용함으로써 위치 인코딩 의존도를 줄이고 일반화 능력을 향상시킨다.
• GCN과 어텐션 블록을 병렬로 구성함으로써 국소적 및 전역적 표현의 공동 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 내부 그래프 메시지 전파를 넘어서 그래프 간 구조적 상관관계를 모델링하면 그래프 표현 학습에 도움이 되는가?
• RQ2 표준 자기어텐션과 비교할 때 그래프 외부 어텐션(GEA)은 성능 및 위치 인코딩 의존도 측면에서 어떻게 다른가?
• RQ3 GEAET는 장거리 의존성 작업에서 GNN의 과도한 쌓힘 문제를 어느 정도 완화할 수 있는가?
• RQ4 외부 노드, 엣지, 공유 키-밸류 유닛이 전체 모델 성능에 기여하는 정도는 어떠한가?
• RQ5 전역적 그래프 간 어텐션 통합이 표준 그래프 벤치마크에서 최신 기술 수준의 성능을 달성하는 데 기여하는가?

주요 결과

• GEAET는 ZINC, Peptides-Struct, TreeNeighbourMatch를 포함한 여러 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 장거리 의존성 작업에서 표준 트랜스포머와 GNN보다 뛰어난 성능을 보이며, 트리 깊이 r=7까지 효과적으로 일반화되나, GNN은 r=4에서 실패한다.
• GEAET는 위치 인코딩 의존도를 줄였다: 위치 인코딩 없이도 강력한 성능을 달성하는 반면, 트랜스포머의 성능은 이로 인해 크게 떨어진다.
• 제거 실험 결과, 외부 노드, 엣지, 공유 유닛 모두 성능 향상에 기여함을 확인하였으며, 전체 구성에서는 MNIST에서 98.513%의 정확도, PATTERN에서는 86.993%의 정확도를 기록했다.
• GEANet에서 8개의 어텐션 헤드를 사용할 경우 최고의 성능를 기록한 반면, 트랜스포머는 단일 헤드에서 가장 우수한 성능를 기록함으로써 어텐션 메커니즘의 서로 다른 인덕티브 바이어스를 시사한다.
• 라플라시안 위치 인코딩은 GEANet 성능을 약간 향상시키지만, 랜덤 워크 위치 인코딩은 성능을 떨어뜨림으로써 GEANet이 이러한 인코딩에 덜 의존함을 추가로 입증한다.