[논문 리뷰] Rethinking Lifelong Sequential Recommendation with Incremental Multi-Interest Attention

Yongji Wu, Lu Yin외 5명|arXiv (Cornell University)|2021. 05. 28.

Recommender Systems and Techniques참고 문헌 39인용 수 6

한 줄 요약

이 논문은 장기적인 행동 시퀀스에서 다양한 사용자 관심사를 효율적으로 포착하기 위해 점진적 다중 관심사 자기주의 주의를 사용하는 라이프러닝 순차 추천 모델인 LimaRec을 제안한다. RNN 기반 메모리 네트워크를 자기주의 주의 메커니즘으로 대체함으로써, LimaRec은 일정 시간 내 온라인 추론을 달성하면서도 네 가지 실세계 데이터셋에서 최신 기준 모델들을 능가한다. 특히 장기간의 시퀀스를 가진 사용자에게서 뛰어난 성능을 보인다.

ABSTRACT

Sequential recommendation plays an increasingly important role in many e-commerce services such as display advertisement and online shopping. With the rapid development of these services in the last two decades, users have accumulated a massive amount of behavior data. Richer sequential behavior data has been proven to be of great value for sequential recommendation. However, traditional sequential models fail to handle users' lifelong sequences, as their linear computational and storage cost prohibits them from performing online inference. Recently, lifelong sequential modeling methods that borrow the idea of memory networks from NLP are proposed to address this issue. However, the RNN-based memory networks built upon intrinsically suffer from the inability to capture long-term dependencies and may instead be overwhelmed by the noise on extremely long behavior sequences. In addition, as the user's behavior sequence gets longer, more interests would be demonstrated in it. It is therefore crucial to model and capture the diverse interests of users. In order to tackle these issues, we propose a novel lifelong incremental multi-interest self attention based sequential recommendation model, namely LimaRec. Our proposed method benefits from the carefully designed self-attention to identify relevant information from users' behavior sequences with different interests. It is still able to incrementally update users' representations for online inference, similarly to memory network based approaches. We extensively evaluate our method on four real-world datasets and demonstrate its superior performances compared to the state-of-the-art baselines.

연구 동기 및 목표

• 장기적 의존성 문제와 높은 계산 비용으로 인해 어려움을 겪는 RNN 기반 라이프러닝 순차 모델의 한계를 해결하기 위해.
• 잡음으로 인해 압도당하지 않도록 장기간의 행동 시퀀스에서 다양한 다면적 사용자 관심사를 모델링하기 위해.
• 엄격한 지연 시간과 저장 용량 제약 조건 하에서 실시간 추천 시스템에서 일정 시간 내 온라인 추론을 가능하게 하기 위해.
• 장기간 복잡한 행동 이력이 있는 사용자에게서 고유한 관심 패턴을 포착함으로써 추천 성능을 향상시키기 위해.

제안 방법

• 자기주의 주의 메커니즘을 활용하여 장기적인 시퀀스에서 관련 있는 행동을 동적으로 검색함으로써, 관련 없는 항목으로 인한 잡음을 감소시킴.
• 일정 시간 내 사용자 표현을 업데이트하는 점진적 자기주의 주의 모듈을 도입하여 온라인 학습을 가능하게 함.
• 행동 시퀀스를 통해 K개의 고유한 관심 벡터를 소프트 검색 방식으로 학습하는 다중 관심 추출 모듈을 도입함.
• 사용자 표현을 정교화하고 시간적 동적 특성을 향상시키기 위해 두 개의 스택된 점진적 자기주의 주의 블록을 사용함.
• 각 관심 벡터가 쿼리 역할을 하여 관련된 이전 행동을 검색하는 쿼리 기반 자기주의 주의 메커니즘을 적용함.
• 각 새로운 상호작용과 함께 점진적으로 업데이트되는 개인화된 사용자 행동 시퀀스 메모리를 유지함.

실험 결과

연구 질문

• RQ1 자기주의 주의 메커니즘이 장기적 의존성을 유지하면서도 RNN 기반 메모리 네트워크를 대체할 수 있는가?
• RQ2 다중 사용자 관심사를 모델링함으로써 장기간의 행동 시퀀스에서 추천 정확도가 어떻게 향상되는가?
• RQ3 점진적 자기주의 주의는 계산 비용과 저장 비용을 줄이면서도 성능을 얼마나 유지하는가?
• RQ4 특히 잡음이 많거나 희박한 경우, 매우 장기간의 시퀀스를 가진 사용자에게서 모델의 성능은 어떠한가?

주요 결과

• LimaRec은 MovieLens 및 산업용 전자상거래 데이터를 포함한 네 가지 실세계 데이터셋에서 최신 기준 모델들을 능가하는 뛰어난 성능을 기록함.
• 장기간의 행동 시퀀스를 가진 사용자에게서 LimaRec은 기준 모델 대비 성능 저하가 더 느리게 나타나, 시퀀스 길이에 대해 뛰어난 강건성을 보임.
• 관심 벡터 수(K)가 많을수록 히트율이 크게 향상되며, K=9에서 최고 성능을 기록함으로써 다중 관심 모델링의 중요성을 입증함.
• K가 높아질수록 추천의 다양성이 증가하지만, K와 실제 사용자 관심 수의 불일치로 인해 일부 변동성이 발생함.
• MovieLens의 다년간 사용자 이력과 같은 희박하거나 시간적으로 분리된 데이터에서도 LimaRec은 장기간의 시퀀스에서도 높은 성능을 유지함.