[논문 리뷰] Time-based Sequence Model for Personalization and Recommendation Systems

Tigran Ishkhanov, Maxim Naumov외 8명|arXiv (Cornell University)|2020. 08. 27.

Recommender Systems and Techniques참고 문헌 41인용 수 6

한 줄 요약

이 논문은 시간 기반 시퀀스 모델(TBSM)을 제안하며, 다중 벡터 공간에서의 내적과 유사한 TSL 어텐션 메커니즘을 통합하여 추천 시스템의 사용자 행동 시퀀스 모델링을 향상시킨다. 이는 가변 길이의 시퀀스를 효율적으로 처리할 수 있도록 한다. 모델은 타오바오 사용자 행동 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, MIMN나 DIEN과 같은 더 복잡한 모델들조차도 더 짧은 시퀀스 길이(τ=20)를 사용한 점에서 뛰어난 성능을 보였다.

ABSTRACT

In this paper we develop a novel recommendation model that explicitly incorporates time information. The model relies on an embedding layer and TSL attention-like mechanism with inner products in different vector spaces, that can be thought of as a modification of multi-headed attention. This mechanism allows the model to efficiently treat sequences of user behavior of different length. We study the properties of our state-of-the-art model on statistically designed data set. Also, we show that it outperforms more complex models with longer sequence length on the Taobao User Behavior dataset.

연구 동기 및 목표

• 사용자 행동 시퀀스에 시간 역동성을 명시적으로 통합하는 추천 모델을 개발하는 것.
• 기존 모델들이 시간을 암묵적으로 다루거나 긴 시퀀스 길이를 요구하는 한계를 해결하는 것.
• 순차적 사용자 상호작용의 모델링을 향상시키는 경량이면서도 효과적인 어텐션 메커니즘을 설계하는 것.
• 이전 연구에서 사용된 더 긴 시퀀스에 비해 짧은 사용자 행동 시퀀스(τ=20)가 더 뛰어난 성능을 낼 수 있음을 입증하는 것.
• 다양한 벡터 공간에서의 기하학적 유사도를 기반으로 한 어텐션 메커니즘을 탐색하는 것.

제안 방법

• 사용자와 아이템을 공유 공간 내의 조밀한 벡터로 표현하기 위해 임bedding 레이어를 사용한다.
• 다중 벡터 공간에서의 내적을 통해 어텐션 가중치를 계산하는 TSL(Time-Sensitive Layer) 어텐션 메커니즘을 적용한다. 이는 다중 헤드 어텐션을 모방한다.
• 구면 거리와 관련된 유사도 측정을 사용하여 이전 사용자 상호작용을 집계함으로써 컨텍스트 벡터를 계산한다.
• 사용자 행동 시퀀스를 시간 순서로 정렬된 이벤트로 처리하며, 각 이벤트는 임베딩되고 TSL 메커니즘을 통해 어텐션된다.
• 최종 예측은 현재 아이템 임베딩과 어텐션으로 유도된 컨텍스트 벡터 간의 학습된 상호작용 함수 φ를 사용하여 이루어진다.
• 아키텍처는 시간 단계와 여러 TSL 간의 병렬 처리를 가능하게 하여 확장성과 효율성을 확보하도록 설계되었다.

실험 결과

연구 질문

• RQ1 다양한 벡터 공간에서 기하학적 유사도를 기반으로 한 시간 인지 어텐션 메커니즘이 표준 어텐션보다 추천 성능을 향상시킬 수 있는가?
• RQ2 이전 모델에서 사용된 더 긴 시퀀스(τ=200)에 비해 짧은 사용자 행동 시퀀스(τ=20)가 더 나은 성능을 낼 수 있는가?
• RQ3 실제 세계 데이터에서 MIMN 및 DIEN과 같은 최신 기술 수준의 모델과 비교할 때 TBSM 모델의 AUC 및 일반화 능력은 어떠한가?
• RQ4 다양한 벡터 공간에서의 다중 내적을 통합함으로써 시간 의존성의 모델링이 얼마나 향상되는가?
• RQ5 더 복잡한 아키텍처에 비해 상대적으로 단순한 모델 아키텍처가 더 긴 컨텍스트 시퀀스를 사용하는 모델들을 능가할 수 있는가?

주요 결과

• TBSM 모델은 타오바오 사용자 행동 데이터셋에서 MIMN 및 DIEN보다 높은 AUC 성능을 달성하였으며, 이는 시퀀스 길이가 훨씬 짧은 (τ=20 대비 τ=200) 점에서 뚜렷한 성과를 보였다.
• 통계적으로 설계된 합성 데이터셋에서, 시퀀스 구성 요소 간의 시간 상관관계가 증가할수록 모델의 통계적 성능이 향상됨을 입증하였다.
• 다양한 벡터 공간에서의 내적을 기반으로 한 TSL 어텐션 메커니즘은 표준 어텐션 메커니즘보다 순차적 의존성의 모델링을 더 잘 수행한다.
• 제한된 컨텍스트 조건에서도 성능이 유지됨을 통해 짧은 행동 시퀀스에서 효율적인 학습이 가능함을 시사한다.
• 시간 단계와 TSL 간의 독립적 처리 덕분에 높은 병렬성을 확보할 수 있어 확장 가능한 배포에 유리하다.
• 더 복잡한 아키텍처에 비해 모델 성능이 뛰어나, 아키텍처의 단순성과 기하학적 어텐션의 조합이 뛰어난 결과를 낼 수 있음을 시사한다.