[논문 리뷰] Learnable Graph Convolutional Attention Networks

Adrián Javaloy, Pablo Sánchez‐Martín외 2명|arXiv (Cornell University)|2022. 11. 21.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 그래프 신경망의 특징 표현 학습을 향상시키기 위해 GCNII에 학습 가능한 어텐션 메커니즘을 통합한 새로운 그래프 신경망인 학습 가능한 그래프 컨volutional 어텐션 네트워크(L-GCNIICAT)를 제안한다. 메시지 전달 과정에서 이웃 노드를 동적으로 어텐션하는 L-GCNIICAT는 여러 벤치마크 데이터셋에서 최신 기술 성능(SOTA)을 달성하며, Coauthor Physics에서는 96.87%의 정확도와 TwitchEN에서는 61.14%의 정확도를 기록하여 GCNIIGAT 및 GCNIICAT와 같은 이전 방법들을 능가한다.

ABSTRACT

Existing Graph Neural Networks (GNNs) compute the message exchange between nodes by either aggregating uniformly (convolving) the features of all the neighboring nodes, or by applying a non-uniform score (attending) to the features. Recent works have shown the strengths and weaknesses of the resulting GNN architectures, respectively, GCNs and GATs. In this work, we aim at exploiting the strengths of both approaches to their full extent. To this end, we first introduce the graph convolutional attention layer (CAT), which relies on convolutions to compute the attention scores. Unfortunately, as in the case of GCNs and GATs, we show that there exists no clear winner between the three (neither theoretically nor in practice) as their performance directly depends on the nature of the data (i.e., of the graph and features). This result brings us to the main contribution of our work, the learnable graph convolutional attention network (L-CAT): a GNN architecture that automatically interpolates between GCN, GAT and CAT in each layer, by adding only two scalar parameters. Our results demonstrate that L-CAT is able to efficiently combine different GNN layers along the network, outperforming competing methods in a wide range of datasets, and resulting in a more robust model that reduces the need of cross-validating.

연구 동기 및 목표

• GCNII의 고정된 이웃 집합 집합 방식의 한계를 해결하기 위해, 이는 정보가 풍부한 이웃를 부적절하게 활용하고 노이즈가 많은 이웃를 과도하게 강조할 수 있다.
• 메시지 전달 중 이웃 노드를 적응적으로 가중하는 학습 가능한 어텐션 메커니즘을 도입하여 그래프 표현 학습을 향상시키기 위해.
• 다양한 그래프 구조에서 추론 및 비추론 노드 분류 벤치마크에서 성능을 향상시키기 위해.
• 학습 가능한 어텐션의 효과를 광범위한 추상화 및 비교 실험을 통해 검증하기 위해.
• GCNII와 자기 어텐션의 장점을 결합한 통합적이고 확장 가능한 아키텍처를 제공하기 위해.

제안 방법

• 고정된 집합 방식을 이웃 노드에 대한 학습 가능한 어텐션 메커니즘으로 대체하는 GCNII의 변종인 L-GCNIICAT를 제안한다.
• 노드 특징과 간선 연결성을 기반으로 어텐션 계수를 계산하는 미분 가능 어텐션 모듈을 도입한다.
• 학습 안정성과 기울기 소실 문제 완화를 위해 GCNII의 잔차 연결 및 아이덴티티 스킵 연결을 적용한다.
• 다중 헤드 어텐션 메커니즘을 사용하여 다양한 이웃 패턴을 포착하고 강건성을 향상시킨다.
• 레이블 스무딩과 가중치 감소를 사용한 교차 엔트로피 손실을 통해 모델을 종합적으로 최적화한다.
• 두 단계 훈련 프로토콜을 활용한다: 먼저 고정된 어텐션으로 사전 훈련을 수행한 후, 학습 가능한 어텐션으로 미세 조정한다.

실험 결과

연구 질문

• RQ1 학습 가능한 어텐션은 추론 및 비추론 노드 분류 작업에서 GCNII의 성능을 향상시킬 수 있는가?
• RQ2 어텐션 메커니즘의 통합은 깊이 있는 GCN 아키텍처에서 표현 학습에 어떤 영향을 미치는가?
• RQ3 L-GCNIICAT는 다양한 그래프 데이터셋에서 GCNII 및 그 변종보다 더 잘 일반화되는가?
• RQ4 학습 가능한 어텐션은 모델의 강건성과 수렴 속도에 어떤 영향을 미치는가?
• RQ5 다양한 어텐션 메커니즘은 성능 및 안정성 측면에서 어떻게 비교되는가?

주요 결과

• Coauthor Physics에서 L-GCNIICAT는 96.87%의 정확도를 기록하여 GCNII(96.58%)와 GCNIIGAT(96.69%)를 초월하며, 더 뛰어난 일반화 능력을 입증한다.
• TwitchEN에서는 L-GCNIICAT가 61.14%의 정확도를 달성하여 GCNIIGAT(57.76%)와 GCNIICAT(60.51%)를 능가하며, 대규모 그래프에서의 성능 향상을 보여준다.
• Amazon Computers, Amazon Photo, Facebook PagePage를 포함한 모든 여섯 개의 벤치마크 데이터셋에서 L-GCNIICAT는 GCNII 및 그 변종보다 일관되게 향상된 성능을 기록한다.
• Coauthor Physics에서 L-GCNIICAT는 GCNIICAT보다 0.18% 향상되었고, TwitchEN에서는 0.63% 향상되어 학습 가능한 어텐션의 이점을 확인한다.
• 추상화 연구 결과는 학습 가능한 어텐션 메커니즘이 고차수 및 노이즈가 많은 그래프에서 성능 향상에 크게 기여함을 확인한다.
• Coauthor Physics에서 표준 편차 0.14% 수준의 낮은 변동성을 유지하며 강력한 훈련 안정성을 보이며, 성능이 뛰어나다.