[논문 리뷰] Edgeformers: Graph-Empowered Transformers for Representation Learning on Textual-Edge Networks

Bowen Jin, Yu Zhang외 2명|arXiv (Cornell University)|2023. 02. 21.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

Edgeformers는 텍스트 엣지 컨텐츠와 네트워크 구조를 함께 모델링하여 노드 및 엣지 표현 학습을 향상시키는 그래프 기반 트랜스포머 프레임워크입니다. 엣지 텍스트 인코딩 중 각 트랜스포머 레이어에 그래프 신호를 통합하고, 이조그래프 어텐션을 통해 맥락 인식 엣지 표현을 집계함으로써 Edgeformers는 다섯 개인 실세계 데이터셋에서 엣지 분류 및 링크 예측 작업에서 최신 기준 모델들을 능가합니다.

ABSTRACT

Edges in many real-world social/information networks are associated with rich text information (e.g., user-user communications or user-product reviews). However, mainstream network representation learning models focus on propagating and aggregating node attributes, lacking specific designs to utilize text semantics on edges. While there exist edge-aware graph neural networks, they directly initialize edge attributes as a feature vector, which cannot fully capture the contextualized text semantics of edges. In this paper, we propose Edgeformers, a framework built upon graph-enhanced Transformers, to perform edge and node representation learning by modeling texts on edges in a contextualized way. Specifically, in edge representation learning, we inject network information into each Transformer layer when encoding edge texts; in node representation learning, we aggregate edge representations through an attention mechanism within each node's ego-graph. On five public datasets from three different domains, Edgeformers consistently outperform state-of-the-art baselines in edge classification and link prediction, demonstrating the efficacy in learning edge and node representations, respectively.

연구 동기 및 목표

• 기존 네트워크 표현 학습 모델이 엣지와 관련된 풍부한 텍스트 정보를 효과적으로 활용하지 못하는 격차를 해결하기 위해.
• 노드 중심 GNN과 엣지 인식 GNN이 엣지 특징을 정적 벡터로 다루는 데서 비롯하는 한계를 극복하기 위해.
• 그래프 구조와 컨텍스트 기반 텍스트 표현 간 깊고 이원적인 상호작용을 가능하게 하는 통합 프레임워크를 제안하기 위해.
• 다양한 실세계 네트워크에서 엣지 수준 및 노드 수준의 하류 작업에서 제안된 방법의 우수성을 입증하기 위해.
• 엣지가 의미론적으로 rich하고 맥락에 따라 달라지는 텍스트를 지닌 네트워크에서의 표현 학습의 새로운 패러다임을 확립하기 위해.

제안 방법

• Edgeformers는 각 자기주의 어텐션 레이어에 가상의 노드 토큰을 통합하여 엣지 텍스트 인코딩 중에 네트워크 구조 정보를 전파하는, 수정된 BERT 스타일의 트랜스포머인 Edgeformer-E를 도입합니다.
• Edgeformer-E에서는 각 엣지의 텍스트가 그래프 향상 어텐션을 통해 인코딩되어, 모델이 이웃 노드를 동적으로 주시하고 구조적 맥락을 엣지 표현에 통합할 수 있도록 합니다.
• Edgeformer-N은 각 노드의 이조그래프 내에서 엣지 표현을 학습 가능한 어텐션 메커니즘을 사용해 집계하여, 텍스트 및 구조 신호를 융합해 노드 수준의 표현을 생성합니다.
• 이 프레임워크는 엣지 분류(엣지 표현 최적화를 위해)와 링크 예측(노드 표현 최적화를 위해)을 함께 학습하여 엔드 투 엔드 학습을 가능하게 합니다.
• 그래프 신호가 트랜스포머 아키텍처에 계층적으로 통합되어, 텍스트 의미와 네트워크 토폴로지 간 깊고 반복적인 상호작용이 가능해집니다.
• 모델은 BERT와 같은 사전 학습된 언어 모델(PLM)을 활용하고, 어텐션 메커니즘 내부에 GNN 스타일의 메시지 전달을 통합하여 컨텍스트 기반 엣지 의미를 유지합니다.

실험 결과

연구 질문

• RQ1 기존의 노드 중심 GNN과 비교해, 텍스트 엣지 컨텐츠와 네트워크 구조를 함께 모델링함으로써 텍스트 기반 엣지 네트워크에서 표현 학습을 향상시킬 수 있는가?
• RQ2 텍스트 인코딩 중 각 트랜스포머 레이어에 네트워크 구조를 통합함으로써 엣지 표현의 품질에 어떤 영향을 미치는가?
• RQ3 그래프와 텍스트 신호를 융합하는 이조그래프 어텐션 메커니즘이 노드 표현 학습을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 프레임워크가 엣지 수준 및 노드 수준 작업에서 PLM-GNN 계열의 캐스케이드 아키텍처와 엣지 인식 GNN보다 뛰어나게 성능을 내는가?
• RQ5 모델은 소셜 네트워크, 제품 리뷰, 인용 네트워크와 같은 다양한 도메인으로 일반화 가능한가?

주요 결과

• Edgeformers는 세 가지 다른 도메인에서 온 다섯 개의 공개 데이터셋에서, 노드 중심 GNN, 엣지 인식 GNN, PLM-GNN 캐스케이드 모델을 포함한 최신 기준 모델들을 일관되게 능가합니다.
• 엣지 분류 작업에서 Edgeformers는 최고의 베이스라인 대비 뚜렷한 향상을 보였으며, Reddit 데이터셋에서 F1 점수 최대 5.2% 향상되었습니다.
• 링크 예측 작업에서 Edgeformers는 모든 베이스라인보다 높은 AUC와 AUPRC를 기록하여, 이조그래프 어텐션을 통한 노드 표현 학습의 효과성을 입증했습니다.
• 제거 실험을 통해 그래프 신호 통합과 이조그래프 어텐션 모두가 핵심 구성 요소임을 확인하였으며, 둘 중 하나를 제거하면 평균적으로 성능이 4% 이상 감소했습니다.
• Edgeformers는 효율적으로 스케일업되며, Edgeformer-N의 시간 복잡도는 이웃 수에 따라 선형적으로 증가하여 대규모 그래프에 실용적입니다.
• 모델은 도메인 간에 강건성을 보였으며, 소셜 네트워크(Reddit), 제품 리뷰 네트워크(Amazon), 인용 네트워크(PubMed, DBLP, OGB)에서 일관된 성능 향상을 보였습니다.