[논문 리뷰] Neural Attentive Session-based Recommendation

Jing Li, Pengjie Ren외 3명|arXiv (Cornell University)|2017. 11. 13.

Recommender Systems and Techniques참고 문헌 20인용 수 30

한 줄 요약

이 논문은 신경망 주의 추천 기계(NARM)를 제안하며, 주어진 세션 내에서 사용자의 순차적 행동과 주요 목적을 동시에 모델링하는 딥러닝 프레임워크이다. 주어진 세션 내에서 핵심 항목을 주의 집중하고, RNN로 인코딩된 순차적 특징과 이중선형 매칭 기법을 통해 통합함으로써 NARM는 특히 긴 세션에서 최신 기술(SOTA) 수준의 성능을 달성하며, 이는 이전 방법 대비 최대 15.32% 향상된 성능을 기록한다.

ABSTRACT

Given e-commerce scenarios that user profiles are invisible, session-based recommendation is proposed to generate recommendation results from short sessions. Previous work only considers the user's sequential behavior in the current session, whereas the user's main purpose in the current session is not emphasized. In this paper, we propose a novel neural networks framework, i.e., Neural Attentive Recommendation Machine (NARM), to tackle this problem. Specifically, we explore a hybrid encoder with an attention mechanism to model the user's sequential behavior and capture the user's main purpose in the current session, which are combined as a unified session representation later. We then compute the recommendation scores for each candidate item with a bi-linear matching scheme based on this unified session representation. We train NARM by jointly learning the item and session representations as well as their matchings. We carried out extensive experiments on two benchmark datasets. Our experimental results show that NARM outperforms state-of-the-art baselines on both datasets. Furthermore, we also find that NARM achieves a significant improvement on long sessions, which demonstrates its advantages in modeling the user's sequential behavior and main purpose simultaneously.

연구 동기 및 목표

• 기존의 세션 기반 추천 모델이 순차적 행동에만 초점을 맞추며 세션 내 사용자의 주요 목적을 반영하지 못하는 한계를 해결하기 위해.
• 주어진 세션 내에서 순차적 행동과 사용자 의도를 주의 기반 하이브리드 인코더를 통해 함께 모델링하여 추천 정확도를 향상시키기 위해.
• 사용자 상호작용의 흐름과 사용자 의도를 반영하는 가장 관련성이 높은 항목을 모두 포괄하는 통합된 세션 표현을 개발하기 위해.
• 주어진 세션에서 사용자 의도가 더 명확하게 드러나는 장기간 세션에서 주의 기반 모델링이 특히 효과적임을 입증하기 위해.

제안 방법

• NARM는 순차적 모델링을 위한 GRU 기반 RNN과 사용자 의도 인식 주의 메커니즘을 조합한 하이브리드 인코더를 사용한다.
• 주의 메커니즘은 사용자 주요 목적에 대한 관련성에 따라 각 항목에 대해 동적 가중치를 계산하며, 사용자 의도를 더 잘 반영하는 항목일수록 더 높은 가중치를 할당한다.
• 이중선형 매칭 기법을 통해 통합된 세션 표현과 후보 항목 간의 호환성을 측정하여 추천 점수를 계산한다.
• 모델은 엔드 투 엔드로 훈련되어 항목 표현, 세션 표현, 그리고 그들의 매칭 점수를 동시에 최적화한다.
• 주의 가중치는 GRU의 최종 은닉 상태에서 유도된 쿼리 벡터를 사용하여 계산되며, 이는 사용자 의도를 가장 잘 반영하는 항목에 집중할 수 있도록 한다.
• 통합된 세션 표현은 최종 GRU 은닉 상태와 주의 가중치에 기반한 항목 임베딩의 가중 평균을 연결하여 형성된다.

실험 결과

연구 질문

• RQ1 순차적 행동만으로는 충분하지 않을 때 주의 메커니즘이 사용자의 주요 목적을 효과적으로 식별할 수 있는가?
• RQ2 순차적 행동과 사용자 의도를 함께 모델링하면 특히 긴 세션에서 추천 정확도 향상에 기여하는가?
• RQ3 NARM의 성능는 다양한 세션 길이에서 RNN 기반 기준 모델과 비교해 어떻게 되는가?
• RQ4 주의 메커니즘이 세션의 끝부분에 있지 않은, 의미적으로 관련성이 높은 항목을 얼마나 잘 강조하는가?

주요 결과

• NARM는 DIGINETICA 및 Diginomail 데이터셋에서 모든 평가 지표에서 최신 기술(SOTA) 기반 모델인 Improved GRU-Rec를 모두 초월한다.
• DIGINETICA 데이터셋에서 길이 11인 세션에 대해 NARM는 정확도에서 15.32% 향상을 기록하여 긴 세션에서 뛰어난 성능을 보였다.
• 길이 4에서 17 사이의 세션에서는 NARM가 기준 모델 대비 일관되게 향상되었으며, 성능 향상률은 8.24%에서 15.32%까지 다양했다. 이는 사용자 의도를 효과적으로 모델링했음을 시사한다.
• 주의 메커니즘이 종종 국소화되어 있고, 일반적으로 세션의 끝부분 근처에 위치한 핵심 항목을 성공적으로 식별했다. 이는 일반적인 브라우징 행동과 일치한다.
• 매우 긴 세션(예: 길이 17 이상)에서는 성능 향상 폭이 줄어들었는데, 이는 무작위 클릭 등 증가한 노이즈 때문일 가능성이 높아, 이러한 경우 주의 기반 모델링의 한계를 시사한다.
• 시각화 결과는 주의 메커니즘이 세션의 시작이나 중간에 나타나는 의미적으로 관련성이 높은 항목에게도 높은 가중치를 할당함을 확인했으며, 이는 순차적 순서를 초월해 사용자 의도를 효과적으로 포착할 수 있음을 입증한다.