[논문 리뷰] Personalized Top-N Sequential Recommendation via Convolutional Sequence Embedding

Jiaxi Tang, Ke Wang|arXiv (Cornell University)|2018. 09. 19.

Recommender Systems and Techniques참고 문헌 27인용 수 5

한 줄 요약

이 논문은 사용자 상호작용 시계열을 시간과 잠재 요인 공간에서 2차원 '이미지'로 간주하여 상위 N 추천에서 점수 수준 및 유니언 수준의 순차적 패턴을 모두 포착하는 컨볼루션 신경망 기반 모델인 Caser를 제안한다. 수평 및 수직 컨볼루션 필터를 적용함으로써 Caser는 스킵 행동과 장기적 선호도를 효과적으로 모델링하며, 여러 공개 데이터셋에서 정밀도와 재현율 측면에서 유의미한 향상을 보이며 최신 기술을 초월한다.

ABSTRACT

Top-$N$ sequential recommendation models each user as a sequence of items interacted in the past and aims to predict top-$N$ ranked items that a user will likely interact in a `near future'. The order of interaction implies that sequential patterns play an important role where more recent items in a sequence have a larger impact on the next item. In this paper, we propose a Convolutional Sequence Embedding Recommendation Model (\emph{Caser}) as a solution to address this requirement. The idea is to embed a sequence of recent items into an `image' in the time and latent spaces and learn sequential patterns as local features of the image using convolutional filters. This approach provides a unified and flexible network structure for capturing both general preferences and sequential patterns. The experiments on public datasets demonstrated that Caser consistently outperforms state-of-the-art sequential recommendation methods on a variety of common evaluation metrics.

연구 동기 및 목표

• 기존 마르코프 체인 기반 모델이 사용자 행동의 복잡한 순차적 패턴을 포착하는 데에 한계가 있음을 해결하기 위해.
• 다수의 과거 항목이 함께 미래 행동에 영향을 주는 점수 수준 및 유니언 수준의 순차적 의존성을 모두 모델링하기 위해.
• 직접 이웃하지 않은 과거 행동도 추천에 영향을 줄 수 있는 스킵 행동을 허용하기 위해.
• 단기적 순차적 동적 특성과 장기적 사용자 선호도를 통합된 딥 러닝 프레임워크 내에서 통합하기 위해.
• 임bedded 시퀀스에 대한 컨볼루션 특성 학습을 활용하여 실세계 순차적 상호작용 데이터에서 추천 정확도를 향상시키기 위해.

제안 방법

• 시간과 잠재 요인 차원에 따라 항목 임베딩을 스택하여 사용자 상호작용 시퀀스를 2차원 행렬로 표현하기.
• 수직 컨볼루션 필터를 적용하여 시간 단계 간 국소 패턴을 학습하고 최근 상호작용에 초점을 맞추기.
• 수평 컨볼루션 필터를 적용하여 잠재 요인 간 공존 패턴을 탐지하고, 유니언 수준의 의존성 모델링하기.
• 사용자 고유의 프로젝션 레이어를 통한 개인화된 사용자 임베딩 통합을 통해 장기적 선호도를 포착하기.
• 정렬 손실 함수(예: BPR 유사)를 사용하여 올바른 다음 항목 예측의 가능성을 최대화하도록 모델 최적화하기.
• 컨볼루션 아키텍처를 통해 스킵 커넥션과 잔여 구조를 암묵적으로 활용하여 비연속적인 영향을 허용하기.

실험 결과

연구 질문

• RQ1 다수의 과거 항목이 함께 다음 행동에 영향을 주는 유니언 수준의 순차적 패턴을 효과적으로 포착할 수 있는 딥 러닝 모델이 존재하는가?
• RQ2 직접 이웃하지 않은 과거 항목이 여전히 추천에 영향을 주는 스킵 행동을 모델링할 경우, 추천 성능에 어떤 영향을 미치는가?
• RQ3 수직 및 수평 컨볼루션 필터가 순차적 추천에서 시간 동적 특성과 잠재 요인 간 상호작용을 얼마나 기여하는가?
• RQ4 통합된 CNN 기반 아키텍처가 점수 수준 또는 고차 마르코프 의존성 전용으로 설계된 모델을 초월할 수 있는가?
• RQ5 장기적 사용자 선호도를 忽시하는 모델과 비교해 개인화된 임베딩 통합이 성능 향상에 얼마나 기여하는가?

주요 결과

• Caser는 MovieLens, Gowalla, Yelp, Amazon의 네 가지 공개 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 정밀도, 재현율, NDCG 메트릭에서 일관되게 기존 방법을 능가하였다.
• 모든 구성 요소(개인화, 수평 및 수직 컨볼루션)를 포함한 전체 Caser-pvh 모델이 가장 높은 성능을 기록하였으며, MovieLens에서 15.07%의 히트율과 9.28%의 평균 역수 순위를 기록하였다.
• 제거 실험 결과, 특히 수평 또는 수직 컨볼루션을 제거할 경우 성능이 심각하게 저하되어 이들이 필수적임을 입증하였다.
• 시각화 결과 수직 필터가 최근 항목에 더 높은 가중치를 할당하는 것으로 확인되어, 순차적 추천에서 최근성의 중요성이 예상과 일치함을 확인하였다.
• 수평 필터는 효과적으로 유니언 수준 패턴을 포착하였다: 관련성이 없는 과거 항목(예: 러브 스토리 영화)을 마스킹하면 정확한 다음 항목의 순위가 향상되었고, 관련 있는 항목(예: SF 영화)을 마스킹하면 성능 저하가 발생하였다.
• 모델은 스킵 행동을 성공적으로 모델링하였다. 비연속적이지만 의미적으로 관련 있는 항목을 제거한 후에도 정확한 예측이 가능했으며, 이는 비연속적 영향에 대한 강건성을 보여주었다.