[논문 리뷰] Graph Attention Retrospective

Kimon Fountoulakis, Amit Levi외 3명|arXiv (Cornell University)|2022. 02. 26.

Advanced Graph Neural Networks인용 수 13

한 줄 요약

이 논문은 가우시안 혼합 특징을 가진 문맥적 스토하스틱 블록 모델에서 노드 분류 작업에 대한 그래프 어텐션 네트워크(GATs)의 이론적 분석을 제공한다. '쉬운' 영역—클래스 평균이 잘 분리되어 있을 경우—에서 GATs는 내부 클래스 간 엣지와 외부 클래스 간 엣지를 구별할 수 있으며, 이로 인해 완벽한 분류가 가능하다. 반면 '어려운' 영역—평균 간 거리가 작을 경우—에서는 모든 어텐션 메커니즘이 실패하며, GATs는 그래프 컨볼루션과 유사하게 균일한 가중치로 분해된다.

ABSTRACT

Graph-based learning is a rapidly growing sub-field of machine learning with applications in social networks, citation networks, and bioinformatics. One of the most popular models is graph attention networks. They were introduced to allow a node to aggregate information from features of neighbor nodes in a non-uniform way, in contrast to simple graph convolution which does not distinguish the neighbors of a node. In this paper, we theoretically study the behaviour of graph attention networks. We prove multiple results on the performance of the graph attention mechanism for the problem of node classification for a contextual stochastic block model. Here, the node features are obtained from a mixture of Gaussians and the edges from a stochastic block model. We show that in an "easy" regime, where the distance between the means of the Gaussians is large enough, graph attention is able to distinguish inter-class from intra-class edges. Thus it maintains the weights of important edges and significantly reduces the weights of unimportant edges. Consequently, we show that this implies perfect node classification. In the "hard" regime, we show that every attention mechanism fails to distinguish intra-class from inter-class edges. In addition, we show that graph attention convolution cannot (almost) perfectly classify the nodes even if intra-class edges could be separated from inter-class edges. Beyond perfect node classification, we provide a positive result on graph attention's robustness against structural noise in the graph. In particular, our robustness result implies that graph attention can be strictly better than both the simple graph convolution and the best linear classifier of node features. We evaluate our theoretical results on synthetic and real-world data.

연구 동기 및 목표

• 그래프 어텐션 메커니즘이 노드 분류 작업에서 언제 성공하거나 실패하는지 이론적으로 이해하는 것.
• 가우시안 분포를 가진 노드 특징을 가진 문맥적 스토하스틱 블록 모델(CSBM) 하에서 GAT의 성능을 분석하는 것.
• GAT이 내부 클래스 간 엣지와 외부 클래스 간 엣지를 구별할 수 있는 조건을 규명하여 완벽한 분류를 가능하게 하는 것.
• GAT의 구조적 노이즈에 대한 강건성과 그래프 컨볼루션 및 선형 분류기와의 성능 비교를 조사하는 것.
• 낮은 평균 간격(어려운) 영역에서 어텐션 메커니즘의 이론적 한계를 규명하여 엣지 유형을 구별하지 못하는 일반적인 실패를 보여주는 것.

제안 방법

• 두 클래스의 문맥적 스토하스틱 블록 모델(CSBM)을 기반으로 한 이론적 분석을 수행하였으며, 노드 특징은 가우시안 혼합에서 추출되고 엣지는 스토하스틱 블록 모델에 따라 형성된다.
• 어텐션 메커니즘은 쿼리, 키, 밸류 투영을 가지며 소프트맥스 정규화된 어텐션 점수를 사용하는 두 층의 MLP 아키텍처로 모델링된다.
• 집중 불등식과 가우시안 尾 꼬리 경계를 사용하여 다양한 평균 간 거리(κσ) 하에서 어텐션 계수의 행동을 분석한다.
• 분석은 '쉬운' 영역(큰 κσ)과 '어려운' 영역(작은 κσ)을 구분하며, 어려운 영역에서는 어텐션 계수가 균일하게 수렴하고 쉬운 영역에서는 발산함을 증명한다.
• 구조적 노이즈를 도입하여 편향 하에서 어텐션 행동을 분석함으로써 강건성을 평가하였으며, GATs가 GCN과 선형 분류기보다 뛰어난 성능을 보임을 보였다.
• 집중의 측정과 체르노프 유사 경계를 기반으로 한 고확률 경계를 사용하여 어텐션 점수와 분류 정확도에 대한 이론적 보장을 도출하였다.

실험 결과

연구 질문

• RQ1 CSBM에서 그래프 어텐션 네트워크는 내부 클래스 간 엣지와 외부 클래스 간 엣지를 어떤 조건에서 구별할 수 있는가?
• RQ2 클래스 평균이 잘 분리되어 있는 '쉬운' 영역에서 그래프 어텐션은 완벽한 노드 분류를 달성할 수 있는가?
• RQ3 왜 엣지 정보가 완벽한 경우에도 어텐션 메커니즘은 '어려운' 영역에서 실패하는가?
• RQ4 구조적 노이즈 하에서 그래프 어텐션은 그래프 컨볼루션과 선형 분류기보다 어떻게 성능을 내는가?
• RQ5 노드 특징 평균 간 거리가 가까울 때, 심지어 엣지 정보가 이상적이라도 GATs는 높은 성능을 유지할 수 있는가?

주요 결과

• 쉬운 영역(κ ≥ √(2 log n))에서는 두 층의 MLP 어텐션 메커니즘을 가진 GATs가 고확률로 완벽한 노드 분류를 달성한다.
• 어려운 영역(κ = O(1))에서는 모든 어텐션 메커니즘이 고확률로 내부 클래스 간 엣지와 외부 클래스 간 엣지를 구별하지 못한다.
• κ = ω(1)일 경우, 적어도 1−o(1)의 노드 비율이 올바르게 분류된다; κ = O(1)일 경우, 적어도 Φ(κ)−o(1)의 비율이 올바르게 분류된다.
• 어려운 영역에서는 원래의 GAT 아키텍처가 거의 균일한 어텐션 가중치를 할당하여 표준 그래프 컨볼루션과 유사하게 행동한다.
• 완벽한 엣지 정보가 있음에도 불구하고, 평균 간 거리가 작을 경우(κ = O(1)) GATs는 거의 완벽한 분류를 달성할 수 없다.
• 특히 구조적 노이즈 하에서, 그래프 어텐션은 그래프 컨볼루션과 노드 특징에 대한 최상의 선형 분류기보다 엄밀히 더 강건하다.