[논문 리뷰] Graph Kernel Attention Transformers

Krzysztof Choromański, Han Lin외 2명|arXiv (Cornell University)|2021. 07. 16.

Advanced Graph Neural Networks참고 문헌 42인용 수 4

한 줄 요약

이 논문은 그래프 커널, 구조적 사전 지식이 있는 어텐션 메커니즘, 그리고 무작위 보행 기반 커널 분해를 통한 저랭크 암묵적 어텐션을 통합한 새로운 GNN 아키텍처인 그래프 커널 어텐션 트랜스포머(GKATs)를 제안한다. GKATs는 그래프 크기에 대해 선형 계산 복잡도를 가지며, 얕은 아키텍처에서 장거리 의존성을 효율적으로 모델링하고, 무늬 탐지, 사회망, 생물정보학 작업을 포함한 다양한 벤치마크에서 최신 기술(SOTA) GNN들을 능가한다.

ABSTRACT

We introduce a new class of graph neural networks (GNNs), by combining several concepts that were so far studied independently - graph kernels, attention-based networks with structural priors and more recently, efficient Transformers architectures applying small memory footprint implicit attention methods via low rank decomposition techniques. The goal of the paper is twofold. Proposed by us Graph Kernel Attention Transformers (or GKATs) are much more expressive than SOTA GNNs as capable of modeling longer-range dependencies within a single layer. Consequently, they can use more shallow architecture design. Furthermore, GKAT attention layers scale linearly rather than quadratically in the number of nodes of the input graphs, even when those graphs are dense, requiring less compute than their regular graph attention counterparts. They achieve it by applying new classes of graph kernels admitting random feature map decomposition via random walks on graphs. As a byproduct of the introduced techniques, we obtain a new class of learnable graph sketches, called graphots, compactly encoding topological graph properties as well as nodes' features. We conducted exhaustive empirical comparison of our method with nine different GNN classes on tasks ranging from motif detection through social network classification to bioinformatics challenges, showing consistent gains coming from GKATs.

연구 동기 및 목표

• 기존 GNN이 장거리 의존성을 효율적으로 모델링하는 데에 한계를 극복하기 위해.
• 밀도가 높은 그래프에서 표준 그래프 어텐션 메커니즘의 이차 계산 비용을 줄이기 위해.
• 위상적 및 특징 정보를 압축적으로 코딩할 수 있는 학습 가능한, 컴act한 그래프 스케칭 방법을 개발하기 위해.
• 그래프 커널, 어텐션 메커니즘, 효율적인 트랜스포머 아키텍처를 하나의 표현력 있는 프레임워크로 통합하기 위해.
• 개선된 인덕티브 바이어스와 표현력을 통해 얕은 아키텍처로 최신 기술 성능을 달성하기 위해.

제안 방법

• GKATs는 그래프에서의 무작위 보행에서 유도된 새로운 그래프 커널 클래스를 사용하여, 효율적인 무작위 특징 매핑 분해를 가능하게 한다.
• 이러한 커널은 어텐션 메커니즘에 통합되어, 구조적 의존성을 향상시키는 구조적 인덕티브 바이어스를 형성한다.
• 어텐션 메커니즘은 저랭크 분해를 사용하여, 밀도가 높은 그래프일지라도 노드 수에 대해 선형 복잡도를 달성한다.
• 위상적 및 특징적 성질을 압축적으로 코딩하기 위해 새로운 학습 가능한 그래프 스케칭 기법인 'graphots'가 도입된다.
• 아키텍처는 그래프 커널의 인덕티브 바이어스와 트랜스포머의 표현력 있는 능력을 결합하여, 얕지만 매우 표현력 있는 모델을 가능하게 한다.
• 구조적 및 특징 표현을 공동 최적화할 수 있도록, 미분 가능한 어텐션 가중치와 커널 파rameter를 지원하는 엔드 투 엔드 학습이 가능하다.

실험 결과

연구 질문

• RQ1 그래프 커널 기반 어텐션 메커니즘은 표현력 유지 또는 향상과 함께 그래프 크기에 대해 선형 복잡도를 달성할 수 있는가?
• RQ2 표준 GNN과 비교해 볼 때, GKATs는 한 층으로서 장거리 의존성을 얼마나 잘 모델링할 수 있는가?
• RQ3 무작위 보행 기반 그래프 커널과 어텐션의 통합이 다양한 그래프 학습 작업에서 일반화 성능을 어떻게 향상시키는가?
• RQ4 제안된 graphots 스케칭 방법은 위상적 및 특징 정보를 압축적이고 학습 가능한 형태로 효과적으로 포착할 수 있는가?
• RQ5 GKAT 아키텍처는 생물정보학 및 사회망 작업을 포함한 다양한 벤치마크에서 일관되게 최신 기술 GNN들을 능가하는가?

주요 결과

• GKATs는 밀도가 높은 그래프일지라도 노드 수에 대해 선형 계산 복잡도를 달성한다. 이는 표준 GNN의 이차 복잡도와는 대조된다.
• 모델은 장거리 의존성을 효과적으로 모델링하여, 얕은 아키텍처에서 효과적인 표현 학습을 가능하게 한다.
• 무늬 탐지, 사회망 분류, 생물정보학 벤치마크를 포함한 다양한 작업에서 9종의 다른 GNN 클래스를 능가한다.
• 제안된 graphots는 위상적 및 특징적 정보를 압축적이고 학습 가능한 방식으로 스케칭하여 표현 효율성을 향상시킨다.
• 실증 평가 결과 모든 평가 작업에서 일관된 성능 향상이 확인되어, 제안된 아키텍처 통합의 효과성을 검증한다.
• 표현력은 유지하면서 메모리 및 계산 요구량을 줄여, 대규모 그래프 학습에 적합하다.