[논문 리뷰] Hybrid Model with Time Modeling for Sequential Recommender Systems

Marlesson R. O. Santana, Anderson da Silva Soares|arXiv (Cornell University)|2021. 03. 07.

Recommender Systems and Techniques참고 문헌 17인용 수 4

한 줄 요약

이 논문은 여행 일정에 대한 세션 기반 추천을 향상시키기 위해 향상된 시간 모델링, 통계적 특징 공학 및 훈련 기법을 통합한 하이브리드 NARM 기반 모델을 제안한다. 시간 패턴, 사용자/도시 통계 및 손실 가중 전략을 통합함으로써, 개선된 모델은 WSDM WebTour 2021 챌린지에서 베이스라인 NARM 대비 9.66%의 정확도 향상을 달성하였으며, 모든 최신 기술을 초월한다.

ABSTRACT

Deep learning based methods have been used successfully in recommender system problems. Approaches using recurrent neural networks, transformers, and attention mechanisms are useful to model users' long- and short-term preferences in sequential interactions. To explore different session-based recommendation solutions, Booking.com recently organized the WSDM WebTour 2021 Challenge, which aims to benchmark models to recommend the final city in a trip. This study presents our approach to this challenge. We conducted several experiments to test different state-of-the-art deep learning architectures for recommender systems. Further, we proposed some changes to Neural Attentive Recommendation Machine (NARM), adapted its architecture for the challenge objective, and implemented training approaches that can be used in any session-based model to improve accuracy. Our experimental result shows that the improved NARM outperforms all other state-of-the-art benchmark methods.

연구 동기 및 목표

• 순차적인 사용자 상호작용을 기반으로 다도시 여행의 최종 도시를 추천하는 문제를 해결하기 위해.
• 시간에 민감하고 노이즈가 많으며 불균형한 여행 데이터에서 세션 기반 추천 성능을 향상시키기 위해.
• 어떤 세션 기반 추천 모델에도 적용 가능한 일반화 가능한 훈련 및 아키텍처 개선 기법을 개발하기 위해.
• 여행 진행 상황과 사용자 행동을 더 잘 모델링하기 위해 시간적, 통계적, 맥락적 특징을 통합하기 위해.

제안 방법

• 이중 경로 입력을 통한 NARM 아키텍처 변형: 하나는 어텐션 레이어를 통과하고, 다른 하나는 버퍼를 우회하여 디코더 컨텍스트를 풍부하게 한다.
• 사용자, 도시, 여행 이력의 범주형 및 밀도 특징을 입력 임베딩으로 통합한다.
• 월과 여행 기간을 시간적 특징으로 인코딩하여 여행의 계절성과 여행 기간을 포착한다.
• 매우 불균형한 훈련 데이터에서의 클래스 불균형을 완화하기 위해 α=1 및 γ=3로 설정한 포칼 손실을 적용한다.
• 노이즈가 많고 희박한 사용자 세션에 대한 강건성을 향상시키기 위해 다중 작업 학습 및 데이터 증강을 활용한다.
• 공정한 비교를 위해 모든 모델에서 동일한 하이퍼파라미터를 사용한 조기 정지 및 RAdam 최적화를 적용한다.

실험 결과

연구 질문

• RQ1 시간적 및 통계적 특징은 여행 계획에서 세션 기반 추천 성능을 향상시키는가?
• RQ2 포칼 손실 및 데이터 증강과 같은 훈련 기법은 불균형하고 노이즈가 많은 세션 데이터에서 모델 일반화에 어떤 영향을 미치는가?
• RQ3 NARM에 대한 아키텍처 수정은 순차적 추천 작업에서 성능을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 개선 사항은 NARM를 초월한 다른 세션 기반 모델에도 일반화 가능한가?

주요 결과

• 개선된 NARM 모델(NARM V2)은 테스트 세트에서 Accuracy@4가 0.545를 기록하여 원본 NARM 모델 대비 9.66% 향상된 성능을 보였다.
• 훈련 및 정규화 기법만 적용한 NARM V1은 원본 NARM 대비 4.62%의 정확도 향상을 기록하여, 훈련 기법 자체의 영향력을 입증하였다.
• 원본 NARM는 SASRec 및 Caser와 같은 다른 최신 기술 모델보다 뛰어난 성능을 보였으며, 향후 개선을 위한 가장 강력한 베이스라인으로서의 위치를 확립하였다.
• t-SNE를 통한 사용자 임베딩 시각화 결과, 여행 월은 사용자 행동을 강력하게 예측하는 요소로, 여행 월에 따라 뚜렷한 클러스터링이 관찰되었다.
• 다양한 아블레이션 설정에서 성능 향상이 일관되게 유지되어, 시간 모델링 및 손실 가중 전략의 효과를 확인하였다.
• 제안된 훈련 및 아키텍처 개선 사항은 일반화 가능하며, 다른 세션 기반 추천 시스템에도 적용 가능하다.