[논문 리뷰] Hybrid Sequential Recommender via Time-aware Attentive Memory Network.

Wendi Ji, Keqiang Wang외 3명|arXiv (Cornell University)|2020. 05. 18.

Recommender Systems and Techniques참고 문헌 36인용 수 4

한 줄 요약

이 논문은 순차적 추천 시스템에서 장기적 사용자 선호도와 단기적 의도를 통합하기 위해 시간 인식 주의 메커니즘과 다단계 메모리 읽기 기능을 도입한 다단계 시간 인식 주의 메모리 네트워크(MTAM)를 제안한다. 이 방법은 GRU 유닛에 시간 기반 게이팅을 통합하고, 사용자 행동의 변화를 시간 인식 주의와 비선형 사용자 표현 학습을 통해 모델링함으로써 여섯 개의 벤치마크 데이터셋에서 추천 정확도를 향상시킨다.

ABSTRACT

Recommendation systems aim to assist users to discover most preferred contents from an ever-growing corpus of items. Although recommenders have been greatly improved by deep learning, they still faces several challenges: (1) Behaviors are much more complex than words in sentences, so traditional attentive and recurrent models may fail in capturing the temporal dynamics of user preferences. (2) The preferences of users are multiple and evolving, so it is difficult to integrate long-term memory and short-term intent. In this paper, we propose a temporal gating methodology to improve attention mechanism and recurrent units, so that temporal information can be considered in both information filtering and state transition. Additionally, we propose a Multi-hop Time-aware Attentive Memory network (MTAM) to integrate long-term and short-term preferences. We use the proposed time-aware GRU network to learn the short-term intent and maintain prior records in user memory. We treat the short-term intent as a query and design a multi-hop memory reading operation via the proposed time-aware attention to generate user representation based on the current intent and long-term memory. Our approach is scalable for candidate retrieval tasks and can be viewed as a non-linear generalization of latent factorization for dot-product based Top-K recommendation. Finally, we conduct extensive experiments on six benchmark datasets and the experimental results demonstrate the effectiveness of our MTAM and temporal gating methodology.

연구 동기 및 목표

• 순차적 추천 시스템에서 복잡하고 변화하는 사용자 선호도를 모델링하는 과제를 해결한다.
• 기존 주의 메커니즘과 RNN 모델이 사용자 행동의 시간적 동적 특성을 포착하는 데 한계를 가진다는 점을 극복한다.
• 시간 인식 주의 메커니즘을 활용해 장기적 메모리와 단기적 의도를 효과적으로 통합한다.
• 효율적인 Top-K 후보 검색을 위한 스케일러블한 비선형 잠재 인수 분해의 일반화를 개발한다.
• 시간적 맥락이 사용자 선호도에 미치는 영향을 고려해 사용자 선호도를 변화하는 상태로 모델링함으로써 추천 성능을 향상시킨다.

제안 방법

• 주의 계산과 GRU 기반 상태 전이에 시간 기반 정보를 통합하는 시간 기반 게이팅 메커니즘을 제안한다.
• 단기적 의도를 쿼리로 간주하여 장기적 메모리에서 관련 정보를 검색하는 시간 기반 주의 메커니즘을 설계한다.
• 현재 의도와 이전 메모리를 바탕으로 사용자 표현을 반복적으로 개선하는 다단계 메모리 읽기 연산을 구현한다.
• 시간 기반 GRU 네트워크를 사용해 단기적 사용자 의도를 학습하면서도 이전 사용자 행동을 메모리에 유지한다.
• 현재 의도와 장기적 메모리를 반복적인 주의를 통해 메모리 슬롯에 대해 적용하여 사용자 표현을 구성한다.
• 최종 추천을 비선형 일반화된 내적 기반 잠재 인수 분해의 형태로 프레임워크화하여 효율적인 후보 검색을 구현한다.

실험 결과

연구 질문

• RQ1 주의 메커니즘과 RNN 유닛에 시간 기반 게이팅을 적용하면 순차적 추천에서 사용자 행동의 변화 동적 특성을 더 잘 모델링할 수 있는가?
• RQ2 다단계 메모리 읽기 메커니즘이 단기적 의도와 장기적 사용자 선호도를 얼마나 효과적으로 통합할 수 있는가?
• RQ3 제안된 시간 기반 주의 메커니즘이 표준 주의 메커니즘에 비해 표현 학습에 얼마나 향상된 성능을 보이는가?
• RQ4 MTAM 프레임워크는 다양한 벤치마크 데이터셋에서 기존 순차적 추천 모델보다 우수한 성능을 보이는가?
• RQ5 이 방법은 대규모 추천 시스템에서 실시간 Top-K 후보 검색에 대해 효율적으로 스케일업할 수 있는가?

주요 결과

• 제안된 시간 기반 게이팅 메커니즘은 표준 주의 메커니즘과 RNN 유닛에 비해 사용자 행동의 시간적 동적 특성을 더 잘 모델링함을 확인했다.
• MTAM 모델은 여섯 개의 벤치마크 데이터셋에서 순차적 추천 작업에서 최신 기술 수준의 성능을 달성했다.
• 다단계 메모리 읽기 메커니즘은 반복적인 개선을 통해 맥락 인식 임베딩을 정교하게 만들면서 더 정확한 사용자 표현 학습을 가능하게 했다.
• 이 방법은 Top-K 후보 검색에 대해 스케일업 가능성을 입증하였으며, 잠재 인수 분해의 비선형 일반화로 기능한다.
• 실증 결과는 특히 시간에 따라 변화하는 사용자 선호도를 포착하는 데 있어 일관된 추천 정확도 향상을 보였다.