[논문 리뷰] Long Short-Term Preference Modeling for Continuous-Time Sequential Recommendation

Huixuan Chi, Hao Xu외 6명|arXiv (Cornell University)|2022. 08. 01.

Recommender Systems and Techniques인용 수 4

한 줄 요약

이 논문은 LSTSR를 제안하며, 시간에 따라 변화하는 사용자 단기 선호도를 메모리 메커니즘을 활용한 메시지, 집계, 업데이트 연산을 통해 명시적으로 모델링하는 연속시간 순차 추천을 위한 새로운 동적 그래프 기반 방법이다. 다섯 개의 데이터셋에서 최신 기술을 초월하며 뚜렷한 성능 향상을 보이며, 특히 Recall@10에서 메모리 메커니즘 활성화 시 0.7232에서 0.8635로 향상됨.

ABSTRACT

Modeling the evolution of user preference is essential in recommender systems. Recently, dynamic graph-based methods have been studied and achieved SOTA for recommendation, majority of which focus on user's stable long-term preference. However, in real-world scenario, user's short-term preference evolves over time dynamically. Although there exists sequential methods that attempt to capture it, how to model the evolution of short-term preference with dynamic graph-based methods has not been well-addressed yet. In particular: 1) existing methods do not explicitly encode and capture the evolution of short-term preference as sequential methods do; 2) simply using last few interactions is not enough for modeling the changing trend. In this paper, we propose Long Short-Term Preference Modeling for Continuous-Time Sequential Recommendation (LSTSR) to capture the evolution of short-term preference under dynamic graph. Specifically, we explicitly encode short-term preference and optimize it via memory mechanism, which has three key operations: Message, Aggregate and Update. Our memory mechanism can not only store one-hop information, but also trigger with new interactions online. Extensive experiments conducted on five public datasets show that LSTSR consistently outperforms many state-of-the-art recommendation methods across various lines.

연구 동기 및 목표

• 동적 그래프 기반 추천 시스템 내에서 동적인 단기 선호도 변화를 모델링하는 데 있어 기존의 격차를 해소한다.
• 기존의 동적 그래프 방법들이 주로 안정적인 장기 선호도에 집중하는 한계를 극복한다.
• 최근 상호작용 외에도 시간적 추세를 포착하는 메모리 메커니즘을 통해 단기 선호도 변화를 명시적으로 인코딩하고 최적화한다.
• 통합된 동적 그래프 프레임워크 내에서 장기 및 단기 선호도 모델링을 효과적으로 통합한다.
• 스트리밍 추론을 지원하는 트리거 가능한 메모리 메커니즘을 통해 단기 임베딩의 온라인 적응을 가능하게 한다.

제안 방법

• 사용자 상호작용 이력에서 연속시간 동적 그래프(CTDG)를 구축하여 타임스탬프를 반영한 변화하는 사용자-아이템 관계를 표현한다.
• 지속적인 시간 표현과 메모리 메커니즘을 갖춘 장단기 임베딩 레이어를 도입하여 사용자 및 아이템 임베딩을 인코딩한다.
• 세 가지 연산을 갖는 메모리 메커니즘 설계: 메시지(시간 인식 임베딩을 사용해 맥락 인식 메시지 생성), 집계(이웃 메시지를 통합해 선호도 표현 형성), 업데이트(RNN 기반 기법인 GRU/LSTM을 사용해 시간에 따라 단기 임베딩 업데이트)
• 변화하는 그래프에서 동적 공동 필터링 신호를 포착하기 위해 동적 공동 트랜스포머(Dynamic Collaborative Transformer)와 DSACF(Dynamic Self-Attention with Collaborative Filtering)를 적용한다.
• 최적화를 위해 BPR 손실을 사용하고, 유사도 스코어링을 통해 다음 아이템 추천을 예측한다.
• 추론 효율성을 향상시키기 위해 동적 이웃 샘플링과 최종 시간 집계를 활용하여, 훈련과 추론에서 각각 TGSRec 대비 약 5배와 10배의 속도 향상을 달성한다.

실험 결과

연구 질문

• RQ1 동적 그래프 기반 방법은 변화가 빠르고 추세 중심인 사용자 단기 선호도 변화를 효과적으로 모델링할 수 있는가?
• RQ2 단기 선호도를 메모리 메커니즘을 통해 명시적으로 인코딩할 경우, 최근 상호작용에만 의존하는 것과 비교해 추천 성능에 어떤 영향을 미치는가?
• RQ3 연속시간 임베딩과 동적 공동 신호(DSACF)는 선호도 역학을 모델링하는 데 어떤 영향을 미치는가?
• RQ4 메모리 메커니즘이 성능 향상에 기여하고 스트리밍 추천 환경에서의 온라인 적응을 얼마나 잘 지원하는가?
• RQ5 장기 및 단기 선호도를 모델링하기 위해 깊은 아키텍처가 반드시 필요한가, 아니면 효과적인 메모리 메커니즘을 통해 얕은 설계로도 충분한가?

주요 결과

• LSTSR의 전체 모델은 다섯 개인 공개 데이터셋에서 모든 지표에서 최고 성능을 기록하며, 다수의 최신 기술 기반 모델을 압도한다.
• 메모리 메커니즘만으로도 위키백과 데이터셋에서 Recall@10이 0.7232에서 0.8635로 상승하여, 단기 선호도 변화 모델링에서 핵심적인 역할을 함을 입증한다.
• 연속시간 임베딩과 DSACF는 동적 변화와 공동 신호를 포착하는 데 결정적인 역할을 하며, 이를 제거할 경우 성능이 크게 하락한다.
• 단일 레이어로도 LSTSR가 장기 및 단기 선호도를 효과적으로 포착할 수 있으며, 더 깊은 아키텍처(LSTSR-2l 등)는 성능 향상이 미미하다.
• 효율적인 메모리 표현과 동적 이웃 샘플링 덕분에, 훈련과 추론에서 각각 TGSRec 대비 약 5배와 10배의 속도 향상을 달성한다.
• 제거 실험 결과, 메모리 메커니즘이 1단계 이웃 정보를 저장하고 새로운 상호작용에서 트리거되는 능력 덕분에 강력하고 효율적인 온라인 추론이 가능함을 확인했다.