[논문 리뷰] D\'ej\`a vu: A Contextualized Temporal Attention Mechanism for Sequential Recommendation

Jibang Wu, Renqin Cai외 1명|arXiv (Cornell University)|2020. 01. 29.

Recommender Systems and Techniques참고 문헌 46인용 수 9

한 줄 요약

이 논문은 시간적 유사도, 맥락적 관련성 및 콘텐츠 유사도를 바탕으로 역동적으로 이전 행동에 가중치를 부여함으로써 순차적 추천을 향상시키는 Contextualized Temporal Attention(CTA) 기법을 제안한다. 여러 학습 가능한 시간 커널과 맥락 인식 라우팅을 통합함으로써 CTA는 두 개의 대규모 데이터셋에서 최신 기술 모델들을 능가하며, 변화하는 사용자 선호도를 모델링하는 데 있어 정확도와 해석 가능성 향상을 입증한다.

ABSTRACT

Predicting users' preferences based on their sequential behaviors in history is challenging and crucial for modern recommender systems. Most existing sequential recommendation algorithms focus on transitional structure among the sequential actions, but largely ignore the temporal and context information, when modeling the influence of a historical event to current prediction. In this paper, we argue that the influence from the past events on a user's current action should vary over the course of time and under different context. Thus, we propose a Contextualized Temporal Attention Mechanism that learns to weigh historical actions' influence on not only what action it is, but also when and how the action took place. More specifically, to dynamically calibrate the relative input dependence from the self-attention mechanism, we deploy multiple parameterized kernel functions to learn various temporal dynamics, and then use the context information to determine which of these reweighing kernels to follow for each input. In empirical evaluations on two large public recommendation datasets, our model consistently outperformed an extensive set of state-of-the-art sequential recommendation methods.

연구 동기 및 목표

• 기존 순차적 추천 모델이 시간과 맥락에 기반한 이전 사건의 동적 영향을 간과하는 한계를 해결하기 위해.
• 현재 예측에 대한 과거 행동의 관련성이 시간이 지남에 따라 변할 뿐 아니라 다양한 사용자 참여 맥락에서 어떻게 달라지는지 모델링하기 위해.
• 이전 상호작용에 대한 콘텐츠 기반, 시간적, 맥락적 중요도 점수를 동시에 학습시켜 추천 정확도를 향상시키기 위해.
• 콘텐츠, 시간, 맥락의 영향을 분리하는 3단계 주의 가중치 부여 메커니즘을 통해 모델의 해석 가능성 향상시키기 위해.

제안 방법

• 모델은 콘텐츠 기반 중요도(α), 시간 커널 기반 재가중치(β), 맥락 인식 융합(γ)의 3단계 주의 메커니즘을 활용하여 최종 주의 점수를 계산한다.
• 다양한 시간 동적 패턴을 모델링하기 위해 다수의 파arameterized 커널 함수를 사용하며, 학습 가능한 라우팅 게이트는 맥락에 따라 각 입력에 가장 적합한 커널을 선택한다.
• 시간 커널 구성 요소는 비선형 시간 감쇠 패턴을 학습하여 단기 및 장기적 영향을 민첩하게 모델링할 수 있도록 한다.
• 맥락 정보는 시간 커널 선택을 게이팅함으로써 탐색 대비 이용 행동 패턴과 같은 사용자 행동 패턴에 동적으로 적응할 수 있도록 한다.
• 최종 주의 점수 γ는 콘텐츠, 시간, 맥락 신호를 융합하여 관련성 있고 시기적절한 행동을 우선순위로 배치할 수 있도록 한다.
• 자기 주의(self-attention)의 병렬 처리 이점을 계승함으로써, 추가적인 맥락 기반 시간 모델링의 복잡성에도 불구하고 계산 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 과거 사용자 행동이 현재 추천에 미치는 영향은 시간이 지남에 따라 어떻게 변화하고, 다양한 행동 맥락에서 어떻게 달라지는가?
• RQ2 학습 가능한 맥락 인식 시간 커널 메커니즘이 고정되거나 정적 주의 메커니즘을 넘어서 순차적 추천 성능을 향상시킬 수 있는가?
• RQ3 콘텐츠 기반, 시간적, 맥락적 중요도를 분리함으로써 모델 성능 향상과 해석 가능성 향상에 어느 정도 기여하는가?
• RQ4 다양한 시간 커널 설계는 실제 데이터셋에서 다양한 순차적 패턴에 대한 모델 일반화 능력에 어떻게 영향을 미치는가?

주요 결과

• 제안된 CTA 모델은 두 개의 대규모 공개 데이터셋에서 다양한 최신 기술 순차적 추천 방법들을 일관되게 능가하며, 뛰어난 추천 정확도를 입증했다.
• 실증 결과에 따르면 맥락 정보가 주로 주의 가중치 결정에 영향을 미치며, 특히 시간 감쇠만으로는 충분하지 않은 먼 과거 이벤트의 경우 더욱 두드러진 영향을 미친다.
• 자기 주의 기반 아키텍처 덕분에 모델은 맥락 기반 시간 모델링의 추가 복잡성에도 불구하고 높은 계산 효율성을 유지한다.
• 제거 실험(ablation study) 결과 자기 주의 구성 요소가 성능 향상에 기여하지만, 맥락 기반 시간 메커니즘이 핵심적인 추가 기여를 한다는 것이 확인되었다.
• 주의 점수의 시각화 결과, 맥락이 관련성을 뒷받침할 경우 시간적으로 멀리 떨어져 있더라도 관련 과거 행동을 정확히 식별할 수 있음을 확인했다.
• 3단계 주의 메커니즘이 해석 가능성을 향상시켜 연구자들이 특정 아이템이 콘텐츠, 시기, 맥락에 기반해 왜 추천되었는지 추적할 수 있도록 한다.