[논문 리뷰] Continuous-Time Sequential Recommendation with Temporal Graph Collaborative Transformer

Ziwei Fan, Zhiwei Liu외 4명|arXiv (Cornell University)|2021. 08. 14.

Recommender Systems and Techniques참고 문헌 61인용 수 7

한 줄 요약

이 논문은 연속 시간 순차 추천 프레임워크인 TGSRec을 제안한다. 이는 새로운 시간 인식 협업 트랜스포머(TCT) 레이어를 갖춘 시간 그래프 순차 추천 모델을 통해 순차 패턴과 시간적 협업 신호를 통합한다. TCT 레이어는 시간 인식 자기주의를 통해 항목 전이와 사용자-항목 상호작용 동역학을 동시에 모델링하여 다섯 개인 실세계 데이터셋에서 Recall@10과 MRR에 각각 최대 22.5% 및 22.1%의 절대적 향상을 달성한다.

ABSTRACT

In order to model the evolution of user preference, we should learn user/item embeddings based on time-ordered item purchasing sequences, which is defined as Sequential Recommendation (SR) problem. Existing methods leverage sequential patterns to model item transitions. However, most of them ignore crucial temporal collaborative signals, which are latent in evolving user-item interactions and coexist with sequential patterns. Therefore, we propose to unify sequential patterns and temporal collaborative signals to improve the quality of recommendation, which is rather challenging. Firstly, it is hard to simultaneously encode sequential patterns and collaborative signals. Secondly, it is non-trivial to express the temporal effects of collaborative signals. Hence, we design a new framework Temporal Graph Sequential Recommender (TGSRec) upon our defined continuous-time bi-partite graph. We propose a novel Temporal Collaborative Trans-former (TCT) layer in TGSRec, which advances the self-attention mechanism by adopting a novel collaborative attention. TCT layer can simultaneously capture collaborative signals from both users and items, as well as considering temporal dynamics inside sequential patterns. We propagate the information learned fromTCTlayerover the temporal graph to unify sequential patterns and temporal collaborative signals. Empirical results on five datasets show that TGSRec significantly outperforms other baselines, in average up to 22.5% and 22.1%absolute improvements in Recall@10and MRR, respectively.

연구 동기 및 목표

• 진행 중인 사용자-항목 상호작용에 잠재된 시간적 협업 신호를 忽시하는 기존 순차 추천 모델의 한계를 해결한다.
• 통합 프레임워크에서 순차 패턴과 협업 신호를 동시에 인코딩하는 데 도전한다.
• 사용자와 항목 간에 동적으로 변화하는 시간적 영향을 연속 시간에서 모델링한다.
• 시간에 따라 변화하는 항목 전이 패턴과 사용자-항목 유사도 동역학을 통합함으로써 추천 정확도를 향상시킨다.
• 사용자 선호도와 항목 상호작용의 연속 시간 모델링을 지원하는 확장성 있고 미분 가능한 프레임워크를 개발한다.

제안 방법

• 모든 간선에 연속 타임스탬프를 갖는 이원 그래프(CTBG)를 정의하여 사용자-항목 상호작용을 표현한다.
• 연속 타임스탬프를 시간 벡터로 매핑하기 위한 시간 커널을 도입한다.
• 노드 임베딩과 시간 벡터를 모두 사용해 이웃에 대한 어텐션을 계산하는 시간 협업 트랜스포머(TCT) 레이어를 제안한다.
• 협업 어텐션 메커니즘을 통해 TCT 레이어가 순차 전이와 협업 신호 양측에서 정보를 집계하도록 한다.
• 시간 동역학을 유지하면서 순차적 신호와 협업 신호를 통합하기 위해 시간 그래프를 통해 임베딩을 전파한다.
• BPR 손실을 사용하여 모델을 최적화하며, 이는 BCE 손실보다 순차 추천 목표에 더 잘 부합한다.

실험 결과

연구 질문

• RQ1 통합 프레임워크는 연속 시간 순차 추천에서 순차 패턴과 시간적 협업 신호를 효과적으로 모델링할 수 있는가?
• RQ2 순차 패턴에만 의존하는 모델 대비 시간적 협업 신호 통합이 추천 성능에 어떻게 기여하는가?
• RQ3 시간 인식 어텐션 메커니즘이 사용자 선호도 동역학을 얼마나 잘 모델링하는가?
• RQ4 특히 TCT 레이어와 시간 그래프 전파 기법이 성능 향상에 얼마나 기여하는가?
• RQ5 연속 시간 모델링 방식이 이산 시간 또는 타임스탬프 무시 기반 접근 방식에 비해 추천 품질에 어떤 영향을 미치는가?

주요 결과

• TGSRec은 다섯 개인 실세계 데이터셋에서 강력한 베이스라인 대비 Recall@10에서 최대 22.5% 절대적 향상과 MRR에서 22.1% 향상을 달성한다.
• 제거 실험 결과, 사용자 또는 항목 임베딩에서 시간 벡터를 제거할 경우 성능이 크게 떨어지며, 이는 시간 추론의 중요성을 입증한다.
• 시간 어텐션 가중치의 시각화 결과는 동적인, 시간에 따라 변화하는 어텐션 패턴을 보이며, 모델이 연속 시간 동역학을 잘 포착함을 확인한다.
• 오직 TGSRec만 정확한 시간 창 내에서 참값 항목(Killing Joke)을 상위 4개 예측에 성공적으로 추천했으며, SASRec과 TiSASRec은 이를 실패한다.
• BPR 최적화된 베이스라인을 초월하는 성능을 보이며, 제안된 손실 함수와 아키텍처가 함께 순차 순위 매기기 성능을 향상시킴을 시사한다.
• 성능는 사용자 시간 벡터에 가장 민감하게 반응하며, 이는 사용자 선호도 변화가 항목 동역학보다 더 빠르게 변화함을 시사하며, 모델 설계와도 부합한다.