[논문 리뷰] Spatio-Temporal Contrastive Learning Enhanced GNNs for Session-based Recommendation

Zhongwei Wan, Xin Liu외 6명|arXiv (Cornell University)|2022. 09. 23.

Recommender Systems and Techniques인용 수 4

한 줄 요약

이 논문은 세션 기반 추천을 위한 새로운 그래프 신경망 프레임워크인 RESTC를 제안하며, GNN에서 발생하는 시간 정보 손실 문제를 완화하기 위해 시공간 대비 학습을 통합한다. 공간 및 시간 시각 간의 교차 시각 대비 학습을 활용하고 전역 협업 필터링 그래프를 통합함으로써 RESTC는 세션 표현 학습을 크게 향상시키고 기준 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Session-based recommendation (SBR) systems aim to utilize the user's short-term behavior sequence to predict the next item without the detailed user profile. Most recent works try to model the user preference by treating the sessions as between-item transition graphs and utilize various graph neural networks (GNNs) to encode the representations of pair-wise relations among items and their neighbors. Some of the existing GNN-based models mainly focus on aggregating information from the view of spatial graph structure, which ignores the temporal relations within neighbors of an item during message passing and the information loss results in a sub-optimal problem. Other works embrace this challenge by incorporating additional temporal information but lack sufficient interaction between the spatial and temporal patterns. To address this issue, inspired by the uniformity and alignment properties of contrastive learning techniques, we propose a novel framework called Session-based Recommendation with Spatio-Temporal Contrastive Learning Enhanced GNNs (RESTC). The idea is to supplement the GNN-based main supervised recommendation task with the temporal representation via an auxiliary cross-view contrastive learning mechanism. Furthermore, a novel global collaborative filtering graph (CFG) embedding is leveraged to enhance the spatial view in the main task. Extensive experiments demonstrate the significant performance of RESTC compared with the state-of-the-art baselines e.g., with an improvement as much as 27.08% gain on HR@20 and 20.10% gain on MRR@20.

연구 동기 및 목표

• 메시지 전파 과정에서 시간 순서를 忽略하는 GNN 기반 세션 추천 모델의 한계를 해결함으로써 최적의 표현 학습을 이끌어내는 것.
• 대비 학습 기반 메커니즘을 도입하여 세션 임베딩에서 공간적 그래프 구조와 시간 패턴 간의 상호작용을 향상시키는 것.
• 단기 세션에서의 데이터 희소성 문제를 완화하기 위해 전역 협업 필터링 그래프(CFG) 임베딩을 통합하는 것.
• 공간적 및 시간적 시각 간의 정렬과 균일성을 강화하는 자기지도형 대비 학습을 통해 표현 품질을 향상시키는 것.

제안 방법

• 이 프레임워크는 공간(아이템 전이 그래프) 및 시간(순서된 아이템 시퀀스) 시각에서 유사한 세션 표현을 정렬하는 双시각 대비 학습 목적함수를 사용한다.
• 다중 헤드 그래프 어텐션 네트워크(MGAT)는 공간 그래프 구조를 인코딩하며, 위치 인코딩과 시퀀스 모델링을 통해 시간 순서를 유지한다.
• 세션 간 공통 발생 패턴에서 유도된 전역 협업 필터링 그래프(CFG)는 공간 표현을 풍부하게 하고 데이터 희소성을 감소시킨다.
• 대비 학습 손실은 자기지도형 방식으로 최적화되며, 동일 세션의 서로 다른 시각에서의 양성 샘플 정렬과 음성 샘플의 균일성을 강화한다.
• 주 추천 작업은 대비 목적함수와 함께 공동으로 학습되며, 지도 학습 손실과 대비 손실의 가중 조합을 사용한다.
• 대비 손실 가중치 및 MGAT 레이어 수와 같은 하이퍼파rameter는 그리드 서치를 통해 주 작업 최적화와 표현 학습 간의 균형을 확보하기 위해 튜닝된다.

실험 결과

연구 질문

• RQ1 시공간 대비 학습은 GNN 기반 세션 추천에서 세션 표현 학습을 향상시키는가?
• RQ2 협업 필터링 그래프의 통합은 짧고 희소한 세션에서 성능에 어떤 영향을 미치는가?
• RQ3 대비 학습은 잠재 공간 내 세션 임베딩의 구분 능력을 어느 정도 향상시키는가?
• RQ4 MGAT 레이어 수 및 대비 손실 가중치와 같은 모델 하이퍼파rameter는 성능과 일반화에 어떤 영향을 미치는가?

주요 결과

• RESTC는 Diginetica, Tmall, RetailRocket, LastFM 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, HR@20 및 MRR@20 지표에서 기존 SOTA 기준 모델들을 모두 능가한다.
• 제거 실험 결과, 대비 학습 구성 요소를 제거한 RESTC w/o Cont.는 성능이 뚜렷이 저하됨을 확인하여, 표현 학습에서의 효과성을 입증한다.
• CFG 임베딩 모듈을 3층으로 구성할 경우 최고의 성능을 기록하였으며, 더 깊은 레이어는 노이즈와 과도한 스무딩을 유발함.
• 모델은 다양한 세션 길이에 대해 강건하며, CFG 임베딩에 의한 효과적인 희소성 완화 덕분에 짧은 세션에서 뛰어난 성능을 보임.
• t-SNE 시각화 결과, S2-DHCN 및 GC-SAN과 비교해 RESTC는 특히 동일 레이블 세션에서 더 구분력 있고 잘 분리된 세션 임베딩을 학습함을 확인함.
• 그리드 서치 결과, 주 예측 손실과 대비 손실 간 최적의 균형은 특정 하이퍼파rameter 값에서 달성되며, 대비 가중치(η₁)가 너무 높아지면 성능 저하가 발생함.