[논문 리뷰] Attending to Graph Transformers

Luis T. Díaz Müller, Mikhail Galkin외 2명|arXiv (Cornell University)|2023. 02. 08.

Machine Learning in Materials Science인용 수 32

한 줄 요약

이 논문은 그래프 트랜스포머(GT) 아키텍처의 분류체계와 실증 평가를 제공합니다. 구조/위치 인코딩, 입력 특성, 토크나이제이션, 전파 전략에 중점을 두고, 그래프 구조를 회복하는 능력과 이질성(heterophily)을 다루는 능력을 평가합니다.

ABSTRACT

Recently, transformer architectures for graphs emerged as an alternative to established techniques for machine learning with graphs, such as (message-passing) graph neural networks. So far, they have shown promising empirical results, e.g., on molecular prediction datasets, often attributed to their ability to circumvent graph neural networks' shortcomings, such as over-smoothing and over-squashing. Here, we derive a taxonomy of graph transformer architectures, bringing some order to this emerging field. We overview their theoretical properties, survey structural and positional encodings, and discuss extensions for important graph classes, e.g., 3D molecular graphs. Empirically, we probe how well graph transformers can recover various graph properties, how well they can deal with heterophilic graphs, and to what extent they prevent over-squashing. Further, we outline open challenges and research direction to stimulate future work. Our code is available at https://github.com/luis-mueller/probing-graph-transformers.

연구 동기 및 목표

• 최신 그래프 트랜스포머(GT) 아키텍처와 이론적 특성에 대한 구조화된 개요를 제공한다.
• 구조적/위치 인코딩과 그들이 GT 표현력에 미치는 영향을 조사한다.
• GT가 비기하학적(non-geometric) 특징과 기하학적(3D) 그래프 특징을 어떻게 다루는지 살펴본다.
• 구조적 인식력, 이질성, 과도한 압축(over-squashing) 현상에 대한 GT의 성능을 평가한다.
• 그래프 트랜스포머의 개방형 과제와 향후 연구 방향을 개략한다.

제안 방법

• 인코딩, 입력 특징, 토큰화, 전파에 걸친 GT 아키텍처의 분류체계를 도출한다.
• GT의 이론적 표현력을 구조/위치 편향에 의존하는지 논한다.
• 구조적 및 위치 인코딩(로컬/글로벌/상대)을 조사하고 분류한다.
• 비기하학적 대 기하학적 입력 특징 형식 및 기하학적 등가성(equivariance) 접근법을 분석한다.
• 노드, 간선, 부분그래프의 토크나이제이션 전략과 계산적 트레이드오프를 검토한다.
• 전파 스킴(글로벌, 희소, 하이브리드)과 스케일링 기법(선형/커널화된 어텐션)을 검토한다.

Figure 2: Average train accuracy over ten random seeds of a GT on the NeighborsMatch dataset, compared to models from Alon & Yahav ( 2021 ) .

실험 결과

연구 질문

• RQ1 구조적 및 위치 인코딩이 GT 표현력과 비동일 이합 그래프를 구분하는 능력에 어떤 영향을 미치는가?
• RQ2 GT가 이질성 그래프에서 과도한 평탄화(over-smoothing) 및 과도한 압축(over-squashing)을 완화할 수 있는가?
• RQ3 노드 전용 대 간선 포함 대 부분그래프 토큰화의 실용적 트레이드오프는 무엇인가?
• RQ4 기하학적 특징(3D 좌표) 및 SE(3)/E(3) 등가성이 GT 성능에 어떤 영향을 미치는가?
• RQ5 정확도를 유지하면서 더 큰 그래프에 GT를 확장하기 위한 효과적인 전파 전략은 무엇인가?

주요 결과

• 표현적 인코딩이 없는 GT는 그래프 구조 구분 능력이 제한적이며, 구조적/위치 편향의 필요성을 강화한다.
• 여러 인코딩(RWSE, LapPE)과 어텐션 바이어스(가장 짧은 경로, 간선 표현)가 구조적 인식력과 작업 성능을 향상시킨다.
• 하이브리드 전파(로컬 GNN + 글로벌 어텐션)가 종종 강한 성능을 발휘하여 확장성과 표현력을 균형 잡는다.
• SE(3)/E(3) 등가성 및 거리 기반 어텐션을 갖는 기하학적 GT는 분자 특성 예측 및 3D 그래프 모델링 성능을 향상시킨다.
• 실험적 결과는 작업 간 성능 차이를 보이며, 기초 모델(바닐라 트랜스포머)은 구조적으로 편향된 GT에 비해 구조적/이질성 벤치마크에서 뒤처진다.
• 표 3(이질성 데이터셋)는 GNN 기본 모델과 구조 인코딩이 적용된 GT 변형 간의 상당한 성능 차이를 보여준다.