[논문 리뷰] Relational Attention: Generalizing Transformers for Graph-Structured Tasks

Cameron Diao, Ricky Loynd|arXiv (Cornell University)|2022. 10. 11.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 트랜스포머 어텐션의 일반화인 관계형 어텐션을 소개한다. 이는 자기어텐션 메커니즘에 간선 벡터를 명시적으로 통합함으로써 트랜스포머가 그래프 구조 데이터를 처음부터 처리할 수 있도록 한다. 제안된 관계형 트랜스포머(Relational Transformer, RT)는 CLRS-30 벤치마크에서 전문화된 그래프 신경망을 능가하는 최고 성능을 기록하며, 30개의 다양한 알고리즘 추론 작업에서 최신 기술을 확립한다. 이는 어텐션 메커니즘에서 그래프 수준의 관계형 인덕티브 바이어스가 우월하다는 것을 보여준다.

ABSTRACT

Transformers flexibly operate over sets of real-valued vectors representing task-specific entities and their attributes, where each vector might encode one word-piece token and its position in a sequence, or some piece of information that carries no position at all. But as set processors, transformers are at a disadvantage in reasoning over more general graph-structured data where nodes represent entities and edges represent relations between entities. To address this shortcoming, we generalize transformer attention to consider and update edge vectors in each transformer layer. We evaluate this relational transformer on a diverse array of graph-structured tasks, including the large and challenging CLRS Algorithmic Reasoning Benchmark. There, it dramatically outperforms state-of-the-art graph neural networks expressly designed to reason over graph-structured data. Our analysis demonstrates that these gains are attributable to relational attention's inherent ability to leverage the greater expressivity of graphs over sets.

연구 동기 및 목표

• 표준 트랜스포머가 그래프 구조 데이터에 대한 추론을 할 때 명시적인 관계형 인덕티브 바이어스가 부족한 한계를 해결하기 위해.
• 간선 벡터를 어텐션의 첫 번째 구성 요소로 통합함으로써 트랜스포머 아키텍처를 원천적으로 그래프를 처리할 수 있도록 일반화하기 위해.
• 제안된 모델의 추론 능력을 광범위하고 도전적인 알고리즘 작업 벤치마크에서 평가하기 위해.
• 관계형 인덕티브 바이어스가 그래프 구조 추론 문제에서 모델 표현력과 성능을 향상시킨다는 것을 입증하기 위해.

제안 방법

• 노드와 간선 벡터를 동시에 고려하는 다중 헤드 자기어텐션 메커니즘의 변형인 관계형 어텐션을 제안한다.
• 각 레이어가 노드와 간선 표현을 모두 업데이트하는 그래프에서 그래프로의 트랜스포머 아키텍처인 관계형 트랜스포머(Relational Transformer, RT)를 도입한다.
• 노드와 간선에 대해 각각 쿼리, 키, 밸류 벡터를 정의하여 어텐션 기반의 관계적 특징에 의존할 수 있도록 한다.
• 표준 트랜스포머와 유사하게 잔차 연결과 레이어 정규화를 사용하여 학습을 안정화시킨다.
• 표준 최적화 기법을 사용하여 그래프 구조 작업에 대해 엔드 투 엔드로 모델을 훈련시킨다.
• 제안된 RT를 포함한 다양한 모델의 평가를 지원하기 위해 CLRS-30 벤치마크를 개선한다.

실험 결과

연구 질문

• RQ1 원천적으로 간선 벡터를 처리하는 트랜스포머 기반 모델이 알고리즘 추론 작업에서 전문화된 그래프 신경망을 능가할 수 있는가?
• RQ2 간선 인식 어텐션을 통한 관계형 인덕티브 바이어스 통합이 그래프 구조 학습에서 일반화 능력과 추론 능력을 향상시키는가?
• RQ3 다양하고 도전적인 그래프 구조 작업에서 관계형 트랜스포머는 최신 기술 GNN과 비교해 어떻게 성능을 내는가?
• RQ4 간선 벡터 통합은 세트 기반 트랜스포머에 비해 모델 표현력에 얼마나 기여하는가?

주요 결과

• 관계형 트랜스포머는 CLRS-30 벤치마크에서 평균 테스트 점수 66.18%로 새로운 최고 기록을 수립하였으며, 모든 기준 GNN을 크게 앞서간다.
• 어려운 위상 정렬(Topological Sort) 작업에서 RT는 80.62%를 기록했고, 최고 기준 GNN(PGN-m)의 64.28%보다 뛰어나, 뛰어난 추론 능력을 입증한다.
• 일반 문자열 매칭(Naïve String Match) 작업에서 RT는 65.01%를 기록했으며, 다음으로 높은 성능을 낸 모델(83.62% for PGN-m)보다 훨씬 뛰어나 복잡한 패턴 매칭 작업에서의 강점을 보여준다.
• 모델는 높은 안정성도 보이며, 30개의 알고리즘 전반에서 표준편차 29.6%를 기록했고, 대부분의 기준 모델보다 낮아 안정적인 성능을 보였다.
• 이진 탐색(Binary Search) 작업에서 RT는 81.48%를 기록했으며, GAT-v2(31.11%)와 MPNN(38.00%)를 크게 앞서, 순차적 추론에서의 우월성을 확인한다.
• RT 모델은 30개 작업 중 14개에서 최고 점수를 기록했으며, 다이크스트라 알고리즘과 플로이드-워셜 알고리즘과 같은 핵심 알고리즘 문제에서도 뛰어난 일반화 능력을 입증했다.