[논문 리뷰] Session-based Recommendations with Recurrent Neural Networks

Balázs Hidasi, Alexandros Karatzoglou외 2명|arXiv (Cornell University)|2015. 11. 21.

Recommender Systems and Techniques참고 문헌 15인용 수 557

한 줄 요약

이 논문은 세션 기반 추천을 위한 GRU 기반 순환 신경망을 제안하며, 사용자 행동 시계열을 모델링하여 전통적인 아이템-투-아이템 방법보다 추천 정확도를 향상시킨다. 순서 기반 손실 함수와 세션 병렬 미니배치를 사용함으로써, 실제 데이터셋에서 최고의 베이스라인 대비 MRR@20에서 최대 31.49% 향상된 성능을 달성한다.

ABSTRACT

We apply recurrent neural networks (RNN) on a new domain, namely recommender systems. Real-life recommender systems often face the problem of having to base recommendations only on short session-based data (e.g. a small sportsware website) instead of long user histories (as in the case of Netflix). In this situation the frequently praised matrix factorization approaches are not accurate. This problem is usually overcome in practice by resorting to item-to-item recommendations, i.e. recommending similar items. We argue that by modeling the whole session, more accurate recommendations can be provided. We therefore propose an RNN-based approach for session-based recommendations. Our approach also considers practical aspects of the task and introduces several modifications to classic RNNs such as a ranking loss function that make it more viable for this specific problem. Experimental results on two data-sets show marked improvements over widely used approaches.

연구 동기 및 목표

• 장기적인 사용자 프로파일이 없는 환경에서 세션 기반 추천의 과제를 해결한다. 이는 전자상거래 및 미디어 사이트에서 흔한 상황이다.
• 행동의 순서를 忽시하고 과거 클릭을 간과하는 행렬 분해 및 아이템-투-아이템 유사도 방법의 한계를 극복한다.
• 희소하고 짧은 세션에 특화된 딥러닝 접근법을 개발하며, 높은 확장성과 실용적인 구현을 고려한다.
• 사용자 상호작용의 전체 시계열을 RNN을 사용해 모델링하고, 맞춤형 학습 목표를 적용함으로써 추천 정확도를 향상시킨다.

제안 방법

• 세션 기반 추천 작업에서 순차적 사용자 상호작용을 모델링하기 위해 게이팅된 순환 단위(GRUs)를 적응시킨다.
• 긴 순서의 짧은 사용자 세션에서 효율적으로 학습하기 위해 세션 병렬 미니배치를 도입한다.
• 큰 아이템 집합에서의 학습 시 계산 비용을 줄이기 위해 미니배치 기반 출력 샘플링을 적용한다.
• 상위-N 추천 성능을 최적화하기 위해 순서 기반 손실 함수(TOP1, BPR 또는 교차 엔트로피)를 사용한다.
• 아이템에 대해 1-of-N 인코딩을 사용하고 출력층에서 tanh 활성화 함수를 적용하여 학습 안정성과 순서 정렬 품질을 향상시킨다.
• 두 개의 실제 세계 데이터셋(RSC15 및 VIDEO)에서 모델 성능을 평가하며, 재현율@20과 평균 역순위(MRR)@20을 사용한다.

실험 결과

연구 질문

• RQ1 사용자 프로파일이 없는 상황에서 순환 신경망이 세션 기반 사용자 행동을 효과적으로 모델링할 수 있는가?
• RQ2 전통적인 아이템-투-아이템 유사도 베이스라인 대비 RNN 기반 접근법은 세션 기반 추천에서 어떻게 성능을 냈는가?
• RQ3 순서 기반 손실 함수와 교차 엔트로피 중 어느 것이 세션 기반 추천에서 더 높은 성능과 안정성을 제공하는가?
• RQ4 네트워크 깊이, GRU 크기, 활성화 함수와 같은 아키텍처 선택이 모델 성능에 어떤 영향을 미치는가?
• RQ5 입력 표현 방식(1-of-N 대비 임베딩)과 시계열 모델링 전략이 추천 정확도에 어떤 영향을 미치는가?

주요 결과

• TOP1 순서 기반 손실 함수를 사용한 GRU 기반 모델은 RSC15 데이터셋에서 최고의 베이스라인(아이템-KNN) 대비 MRR@20에서 31.49% 향상된 성능을 보였다.
• VIDEO 데이터셋에서는 TOP1 손실 모델이 베이스라인 대비 Recall@20에서 20.27% 향상되고 MRR@20에서 15.08% 향상된 성능을 기록했다.
• GRU 크기를 100에서 1000 유닛으로 늘일 경우, 쌍별 손실(TOP1 및 BPR)에서는 성능 향상이 있었지만, 교차 엔트로피 손실은 1000 유닛에서 수치적으로 불안정해졌다.
• 더 깊은 층이나 GRU 이후에 추가적인 피드포워드 층을 추가해도 성능 향상이 없었으며, 이는 단일 GRU 층으로도 세션 모델링에 충분하다는 것을 시사한다.
• 학습된 아이템 임베딩보다 1-of-N 인코딩이 더 뛰어난 성능을 보였으며, 마지막 클릭만을 사용하는 것보다 전체 클릭 시계열을 모델링하는 것이 더 효과적이었다.
• 모델은 GPU에서 몇 시간 내에 효율적으로 학습되었으며, 이는 동적 추천 시스템에서 자주 재학습하는 것이 가능함을 의미한다.