[논문 리뷰] Transformers over Directed Acyclic Graphs

Yuankai Luo, Thost, Veronika외 1명|arXiv (Cornell University)|2022. 10. 24.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 방향 비순환 그래프(DAG)에 적합한 트랜스포머 아키텍처인 DAGFormer을 제안한다. 새로운 어텐션 메커니즘을 통해 수신 필드를 도달 가능한 조상과 자손로 제한함으로써 계산 복잡도를 감소시키면서도 구조적 충실도를 유지한다. 또한 DAG의 구조를 반영하기 위해 깊이 기반 위치 인코딩을 통합한다. 이 방법은 소스 코드 및 인용 네트워크를 포함한 다양한 DAG 작업에서 표준 그래프 트랜스포머와 DAG 전용 GNN보다 정확도와 효율성 면에서 뛰어나다.

ABSTRACT

Transformer models have recently gained popularity in graph representation learning as they have the potential to learn complex relationships beyond the ones captured by regular graph neural networks. The main research question is how to inject the structural bias of graphs into the transformer architecture, and several proposals have been made for undirected molecular graphs and, recently, also for larger network graphs. In this paper, we study transformers over directed acyclic graphs (DAGs) and propose architecture adaptations tailored to DAGs: (1) An attention mechanism that is considerably more efficient than the regular quadratic complexity of transformers and at the same time faithfully captures the DAG structure, and (2) a positional encoding of the DAG's partial order, complementing the former. We rigorously evaluate our approach over various types of tasks, ranging from classifying source code graphs to nodes in citation networks, and show that it is effective in two important aspects: in making graph transformers generally outperform graph neural networks tailored to DAGs and in improving SOTA graph transformer performance in terms of both quality and efficiency.

연구 동기 및 목표

• DAG에 적용할 때 표준 트랜스포머가 부분 순서와 도달 가능성 구조에 대한 구조적 인덕티브 바이어스가 부족한 문제를 해결하기 위해.
• 기본적인 트랜스포머의 이차 복잡도를 줄이면서도 표현력을 유지하는 어텐션 메커니즘을 설계하기 위해.
• DAG의 부분 순서에서 노드의 깊이를 반영하는 위치 인코딩을 통합하여 구조 인식 능력을 향상시키기 위해.
• 다양한 유형의 DAG에서 프레임워크를 평가하여 기존 GNN과 그래프 트랜스포머보다 뛰어난 성능을 입증하기 위해.
• 기존 트랜스포머 및 GNN 아키텍처와 호환되는 일반적이고 효율적이며 확장 가능한 프레임워크를 제공하기 위해.

제안 방법

• 각 토큰의 어텐션을 방향 경로를 통해 도달 가능한 노드들로 제한하는 DAG 인식 어텐션 메커니즘을 도입하여, 수신 필드를 조상과 자손으로 효과적으로 제한한다.
• 이 제약 조건을 유지하기 위해 학습 가능한 마스크 행렬을 사용하여, 오직 위계적으로 순서가 지정되고 도달 가능한 노드들만 어텐션 계산에 포함되도록 보장한다.
• DAG의 부분 순서에서 각 노드의 위치를 명시적으로 인코딩하는 깊이 기반 위치 인코딩을 도입하여 어텐션 메커니즘을 보완한다.
• 표준 자기 어텐션과 비교해 복잡도를 낮추고 병렬성을 유지하기 위해, 미분 가능하고 흐린 연산으로서 어텐션 계산을 공식화한다.
• 플러그인 모듈 형태로 설계하여 기존의 독립형 트랜스포머와 메시지 전파 GNN 모두에 통합할 수 있도록 한다.
• 기존의 단순 트랜스포머나 최고 성능의 그래프 트랜스포머와 같은 모델 위에 쉽게 구현할 수 있도록 모듈화 방식으로 구현한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 아키텍처가 DAG의 부분 순서와 도달 가능성 구조를 효과적으로 활용할 수 있는가?
• RQ2 도달 가능한 노드들만 어텐션 대상으로 제한할 경우, DAG 작업에서 모델의 효율성과 성능이 향상되는가?
• RQ3 깊이 기반 위치 인코딩이 트랜스포머 내에서 DAG의 구조 표현을 얼마나 향상시키는가?
• RQ4 제안된 프레임워크가 정확도와 추론 속도 면에서 표준 그래프 트랜스포머와 DAG 전용 GNN 모두를 능가할 수 있는가?
• RQ5 수신 필드 크기(k)가 다양한 DAG 데이터셋에서 성능과 학습 시간에 어떤 영향을 미치는가?

주요 결과

• 제안된 DAG 어텐션 메커니즘은 계산 복잡도를 크게 감소시켜, 기준 GNN인 DAGNN보다 최대 4배 빠른 학습 속도를 달성했다. ogbg-code2에서 에포크당 10분이었고, DAGNN는 100분이었다.
• ogbg-code2 데이터셋에서 DAG+SAT를 사용할 경우 테스트 F1 스코어가 0.2018을 기록하여, 기준 SAT 모델(0.2000)과 DAGNN(0.1975)을 모두 초월했다.
• 수신 필드 크기(k)를 1에서 ∞로 증가시킬 경우 일관된 성능 향상이 관찰되었으며, DAG+TF의 경우 F1이 0.1724에서 0.1879로 상승했고, DAG+SAT의 경우 0.1533에서 0.2018로 상승했다.
• ogbg-code2에서 k=∞일 때 도달 가능한 노드 평균 수(n_k)는 9.78로 총 노드 수보다 훨씬 낮아, 전체 도달 가능성 조건에서도 효율성이 유지됨을 시사한다.
• 프레임워크는 최고 성능의 그래프 트랜스포머를 정확도와 효율성 면에서 향상시켰으며, 어텐션과 위치 인코딩을 통한 구조적 바이어스가 DAG 표현 학습에 핵심적임을 입증했다.
• 이 방법은 다양한 DAG 유형, 즉 소스 코드 그래프, 인용 네트워크, 논리 공식 등에 대해 잘 일반화되어 성능 향상을 이룬다.