[논문 리뷰] Edge-Featured Graph Attention Network

Jun Chen, Haopeng Chen|arXiv (Cornell University)|2021. 01. 19.

Advanced Graph Neural Networks참고 문헌 28인용 수 28

한 줄 요약

EGATs는 그래프 주의 네트워크(Graph Attention Networks)를 확장하여 노드와 엣지 특징을 병렬로 활용하고 다중 스케일 병합으로 엣지 민감 그래프에서 특히 노드 분류를 경쟁력 있게 수행합니다.

ABSTRACT

Lots of neural network architectures have been proposed to deal with learning tasks on graph-structured data. However, most of these models concentrate on only node features during the learning process. The edge features, which usually play a similarly important role as the nodes, are often ignored or simplified by these models. In this paper, we present edge-featured graph attention networks, namely EGATs, to extend the use of graph neural networks to those tasks learning on graphs with both node and edge features. These models can be regarded as extensions of graph attention networks (GATs). By reforming the model structure and the learning process, the new models can accept node and edge features as inputs, incorporate the edge information into feature representations, and iterate both node and edge features in a parallel but mutual way. The results demonstrate that our work is highly competitive against other node classification approaches, and can be well applied in edge-featured graph learning tasks.

연구 동기 및 목표

• 그래프 신경망에서 엣지 특징을 포함해야 할 필요성을 제고하여 엣지가 중요한 정보를 담고 있는 경우를 다룬다.
• 대칭적 EGAT 아키텍처를 제안하여 노드 특징과 엣지 특징을 병렬로 업데이트한다.
• 향상된 주의 메커니즘과 다중 스케일 병합 전략을 통해 엣지 특징의 통합을 가능하게 한다.
• 이산적 및 연속적 노드/엣지 특징을 모두 갖는 그래프에 응용할 수 있도록 한다.]
• method_eolistic_notes Not used: [

제안 방법

• 노드 주의와 엣지 주의의 두 블록으로 구성된 EGAT 계층을 도입하되, 병렬로 작동해 노드 및 엣지 특징을 업데이트한다.
• 주의 계산 전에 학습 가능한 행렬 W_H 와 W_E를 통해 노드 및 엣지 특징을 변환한다.
• 노드 주의에서 엣지 매핑 행렬 M_E를 사용해 엣지 통합 형태 E*로 엣지 특징을 매핑하고 h_i, h_j, e_ij에 의존하는 주의 가중치 alpha_ij를 계산한다.
• 업데이트된 노드 특징 h_i' = sigma(sum_j in N_i alpha_ij h_j)와 엣지 통합 노드 특징 m_i = sigma(sum_j in N_i alpha_ij [h_j || e_ij])를 얻는다.
• 엣지 주의에서는 노드와 엣지의 역할을 바꿔 변환된 그래프를 형성하고 e_p, e_q, h_pq에 의존하는 주의 가중치 beta_pq를 계산해 엣지 특징 e_p'를 업데이트한다.
• 여러 EGAT 층을 쌓고 머지 층을 사용해 모든 층에서 얻은 멀티스케일 엣지 통합 노드 특징을 연결한 다음 1차원 합성곱과 소프트맥스를 통해 분류한다.

실험 결과

연구 질문

• RQ1 EGAT가 노드 분류 작업에서 엣지 특징을 효과적으로 활용할 수 있는가?
• RQ2 엣지 특징이 주의 가중치 및 특성 업데이트에 노드만 GNN과 비교해 어떤 영향을 미치는가?
• RQ3 EGAT에서 FH' : FE' 비율이 특정 경우에 더 이익을 주는가?
• RQ4 제안된 멀티-스케일 병합 전략이 그래프의 계층 정보를 포착하는 데 유용한가?

주요 결과

방법	Cora	Citeseer	Pubmed
MLP	55.1%	46.5%	71.4%
ManiReg	59.5%	60.1%	70.7%
SemeiEmb	59.0%	59.6%	71.7%
LP	68.0%	45.3%	63.0%
DeepWalk	67.2%	43.2%	65.3%
ICA	75.1%	69.1%	73.9%
Planetoid	75.7%	64.7%	77.2%
Chebyshev	81.2%	69.8%	74.4%
GCN	81.5%	70.3%	79.0%
Monet	81.7%	-	78.8%
SP-GAT*	82.5 ± 0.4%	70.8 ± 0.5%	78.1 ± 0.4%
EGAT (ours)	82.1 ± 0.7%	70.3 ± 0.5%	78.1 ± 0.4%

• EGAT는 코라(Cora), 시타시어(Citeseer), 퍼브메드(Pubmed)에서 노드 민감 그래프에 대해 강력한 기준선과 비교해 경쟁력 있는 정확도를 달성하고, SP-GAT*이 근접하게 일치하며 엣지 특징 간섭으로 인해 경우에 따라 EGAT가 약간 뒤처질 수 있다.
• 엣지 민감한 거래 네트워크(Trade-B, Trade-M)에서 EGAT가 상당히 높은 정확도를 달성하며 특정 FH'–FE' 구성에서 최적의 성능이 약 92.0%(Trade-B), 85.4%(Trade-M) 근처에 도달.
• 주의 메커니즘에 엣지 특징을 사용하면 엣지 민감 그래프에서 성능이 개선되어 엣지가 분류 작업에서 큰 역할을 할 수 있음을 보여준다.
• FH' 및 FE'를 조정하는 것이 중요하다는 시사: FH'/FE'가 작거나 균형일 때 엣지 우세 그래프에 유리하고, 매우 큰 FE'는 경우에 따라 성능을 저하시킬 수 있다.
• EGAT는 계산 오버헤드를 약간 도입하지만 GAT와 유사한 복잡도를 유지하며 인접 행렬과 매핑 행렬의 희소 표현을 사용한다.