[논문 리뷰] TransGNN: Harnessing the Collaborative Power of Transformers and Graph Neural Networks for Recommender Systems

Peiyan Zhang, Yuchen Yan외 5명|arXiv (Cornell University)|2023. 08. 28.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

TransGNN는 추천 시스템에서 GNN의 수신 영역 제한과 노이즈 민감성 문제를 극복하기 위해 Transformer와 GNN 레이어를 번갈아가며 통합하는 하이브리드 모델을 제안한다. Transformer에 구조적 위치 인코딩을 사용하고 관련 노드를 샘플링함으로써, NGCF보다 30–40% 빠른 훈련 및 추론을 달성하면서도 낮은 메모리 및 FLOP 사용을 유지하며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Graph Neural Networks (GNNs) have emerged as promising solutions for collaborative filtering (CF) through the modeling of user-item interaction graphs. The nucleus of existing GNN-based recommender systems involves recursive message passing along user-item interaction edges to refine encoded embeddings. Despite their demonstrated effectiveness, current GNN-based methods encounter challenges of limited receptive fields and the presence of noisy "interest-irrelevant" connections. In contrast, Transformer-based methods excel in aggregating information adaptively and globally. Nevertheless, their application to large-scale interaction graphs is hindered by inherent complexities and challenges in capturing intricate, entangled structural information. In this paper, we propose TransGNN, a novel model that integrates Transformer and GNN layers in an alternating fashion to mutually enhance their capabilities. Specifically, TransGNN leverages Transformer layers to broaden the receptive field and disentangle information aggregation from edges, which aggregates information from more relevant nodes, thereby enhancing the message passing of GNNs. Additionally, to capture graph structure information effectively, positional encoding is meticulously designed and integrated into GNN layers to encode such structural knowledge into node attributes, thus enhancing the Transformer's performance on graphs. Efficiency considerations are also alleviated by proposing the sampling of the most relevant nodes for the Transformer, along with two efficient sample update strategies to reduce complexity. Furthermore, theoretical analysis demonstrates that TransGNN offers increased expressiveness compared to GNNs, with only a marginal increase in linear complexity. Extensive experiments on five public datasets validate the effectiveness and efficiency of TransGNN.

연구 동기 및 목표

• GNN 기반 추천 시스템에서 엣지 기반 메시지 전파로 인한 제한된 수신 영역와 노이즈 문제를 해결한다.
• 3-hop 이내의 이웃을 초월한 모델링을 제한하는 깊은 GNN에서의 과도한 평균화 문제를 극복한다.
• Transformer의 전역적 어텐션을 활용해 사용자-아이템 상호작용의 장거리 순차적 의존성을 포착한다.
• 특수 설계된 위치 인코딩을 통해 그래프의 구조 정보를 Transformer에 통합한다.
• 대규모 그래프에서의 계산 효율성을 향상시키기 위해 타깃 노드 샘플링 및 업데이트 전략을 도입한다.

제안 방법

• 사용자 및 아이템 임베딩을 공동으로 개선하기 위해 GNN 및 Transformer 레이어를 번갈아가며 적용한다.
• 구조적, 근접성, 어텐션 기반의 세 가지 유형의 위치 인코딩을 도입하여 그래프 구조를 Transformer 레이어에 통합한다.
• 자기 어텐션 계산을 가장 관련성이 높은 노드로 제한하기 위해 노드 샘플링을 적용하여 복잡도를 감소시킨다.
• 유지보수성과 관련성을 유지하기 위해 동적 샘플링 및 증분 업데이트 전략을 제안한다.
• 이중 스트림 메시지 전달 메커니즘을 도입하여, Transformer는 장거리 컨텍스트를 집계하고 GNN은 국소적, 엣지 기반 특징을 정밀하게 보정한다.
• GNN은 국소적 구조적 전파를 담당하고, Transformer는 전역적이고 적응형 집계를 수행하는 하이브리드 아키텍처를 설계한다.

실험 결과

연구 질문

• RQ1 Transformer와 GNN을 융합함으로써, 계산 비용을 증가시키지 않고도 GNN의 수신 영역를 확장할 수 있는가?
• RQ2 추천 작업에서 Transformer의 자기 어텐션 메커니즘에 그래프의 구조 정보를 효과적으로 인코딩할 수 있는가?
• RQ3 효율적인 샘플링 전략은 대규모 상호작용 그래프에서 Transformer의 계산 부담을 줄일 수 있는가, 성능 유지를 보장할 수 있는가?
• RQ4 GNN과 Transformer 레이어를 번갈아가며 구성한 아키텍처가 단독 모델보다 더 나은 표현 학습을 이끌 수 있는가?
• RQ5 NGCF, SHT, HyRec와 같은 기존 SOTA 모델과 비교해 TransGNN는 효율성과 표현력 면에서 어떻게 비교되는가?

주요 결과

• TransGNN는 다섯 개인 공개 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, Yelp에서 Recall@20가 0.0927을 기록하여 NGCF(0.0294), HyRec(0.0472), SHT(0.0651)를 모두 초월한다.
• Yelp에서의 훈련 시간은 NGCF 대비 30–40% 감소하였고, 추론 시간 역시 30–40% 감소하였다.
• TransGNN는 SHT 및 HyRec 대비 20–30% 적은 GPU 메모리를 사용하였으며, Yelp 데이터셋 기준 1.79GB에 그쳤다.
• TransGNN는 모든 베이스라인 모델 중에서 가장 낮은 FLOPs(3.74×10⁶)를 기록하여 뛰어난 계산 효율성을 입증하였다.
• t-SNE 시각화 결과 TransGNN는 NGCF, HyRec, SHT보다 더 잘 분리된 클러스터를 생성하여 더 구분력 있는 표현을 생성함을 시사한다.
• 이론적 분석을 통해 TransGNN는 GNN보다 더 높은 표현력을 지녔으며, 선형 복잡도 증가 폭은 미미함을 확인하였다.