[논문 리뷰] Recurrent Latent Variable Networks for Session-Based Recommendation

Sotirios Chatzis, Panayiotis Christodoulou외 1명|arXiv (Cornell University)|2017. 06. 13.

Recommender Systems and Techniques참고 문헌 29인용 수 8

한 줄 요약

이 논문은 베이지안 변분 추론을 통해 사용자 행동을 모델링함으로써 세션 기반 추천 성능을 햖스하는 순환 잠재변수 네트워크인 ReLaVaR를 제안한다. 순환 은닉 상태를 학습된 사후 분포를 가진 확률적 잠재변수로 간주함으로써 ReLaVaR는 희소한 세션 데이터에서의 불확실성을 포착하며, 벤치마크 데이터셋에서 효율적인 학습과 추론을 통해 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this work, we attempt to ameliorate the impact of data sparsity in the context of session-based recommendation. Specifically, we seek to devise a machine learning mechanism capable of extracting subtle and complex underlying temporal dynamics in the observed session data, so as to inform the recommendation algorithm. To this end, we improve upon systems that utilize deep learning techniques with recurrently connected units; we do so by adopting concepts from the field of Bayesian statistics, namely variational inference. Our proposed approach consists in treating the network recurrent units as stochastic latent variables with a prior distribution imposed over them. On this basis, we proceed to infer corresponding posteriors; these can be used for prediction and recommendation generation, in a way that accounts for the uncertainty in the available sparse training data. To allow for our approach to easily scale to large real-world datasets, we perform inference under an approximate amortized variational inference (AVI) setup, whereby the learned posteriors are parameterized via (conventional) neural networks. We perform an extensive experimental evaluation of our approach using challenging benchmark datasets, and illustrate its superiority over existing state-of-the-art techniques.

연구 동기 및 목표

• 사용자 프로파일이 제한되거나 존재하지 않는 세션 기반 추천 시스템에서의 데이터 희소성 문제를 해결한다.
• 사용자 세션 시퀀스의 복잡하고 미묘한 시간적 동적 특성을 포착함으로써 추천 정확도를 향상시킨다.
• 딥 러닝 기반 세션 모델링에 불확실성 모델링을 통합하여 희소 데이터에서의 강인성을 향상시킨다.
• 대규모 실세계 데이터셋과 호환되는 확장 가능한 추론 프레임워크를 개발한다.
• 원칙적인 베이지안 딥 러닝 접근법을 사용해 기존 최신 기술 수준의 방법들을 능가하는 성능을 달성한다.

제안 방법

• 게이트드 순환단위(GRU)의 은닉 상태를 사전 분포를 가진 확률적 잠재변수로 간주한다.
• 암시적 변분 추론(AVI)을 사용해 은닉 상태의 사후 분포를 신경망을 통해 매개변수화한다.
• 재구성 오차와 KL 발산을 균형 잡는 변분 하한(ELBO)을 최적화하여 모델을 종합적으로 학습시킨다.
• 예측 성능을 고려해 상위-k 예측 성능을 선호하는 교차 엔트로피 및 TOP1 손실 함수를 함께 사용한다.
• 각 세션의 시간 단계에서 사후 분포를 효율적으로 계산하기 위해 GRU 기반의 추론 네트워크를 활용한다.
• 학습된 사후 분포를 활용해 희소 관측치의 불확실성을 반영한 추천을 생성한다.

실험 결과

연구 질문

• RQ1 희소성 문제에 직면한 세션 기반 추천 환경에서 베이지안 딥 러닝 프레임워크가 성능 향상에 기여할 수 있는가?
• RQ2 변분 추론을 통해 순환 은닉 상태를 확률적 잠재변수로 모델링하면 예측 정확도가 향상되는가?
• RQ3 암시적 변분 추론이 확장성과 성능을 고려해 추천 시스템의 시퀀스 모델링에 효과적으로 적용될 수 있는가?
• RQ4 제안된 방법은 비베이지안 RNN 및 기타 최신 기술 수준의 모델과 비교해 세션 기반 추천 작업에서 어떻게 성능을 냈는가?
• RQ5 예측에 불확실성을 통합하면 희소한 세션 데이터에서 더 나은 일반화 성능를 달성할 수 있는가?

주요 결과

• ReLaVaR는 벤치마크 데이터셋에서 기존 최신 기술 수준의 방법들을 능가하며, 상위-1 및 상위-5 추천 지표 모두에서 더 높은 정확도를 달성했다.
• 1000개의 뉴런을 가진 모델과 TOP1 손실을 사용한 경우, 가장 빠른 학습 시간(42,357.84초)과 가장 낮은 평균 예측 시간(초당 클릭 이벤트당 0.595초)을 기록했다.
• 교차 엔트로피 손실을 사용한 1500개 뉴런 네트워크의 경우 더 높은 학습 시간(60,109.86초)과 더 긴 예측 시간(초당 0.844초)을 기록하여, 성능과 효율성 사이의 트레이드오���을 확인했다.
• 모든 설정에서 TOP1 손실 변형이 BPR 손실 변형보다 정확도와 추론 속도 면에서 뛰어난 성능을 보였다.
• 계산 효율성을 희생시키지 않고도 높은 성능을 유지하여 실세계 적용에 적합한 모델이다.
• 제거 실험 결과, 변분 추론을 통한 베이지안 공식화가 희소 데이터에서 불확실성을 효과적으로 포착하고 일반화 성능를 향상시킨다는 것이 확인되었다.