[논문 리뷰] Recurrent Neural Networks for Long and Short-Term Sequential Recommendation

Kiewan Villatel, Elena Smirnova외 2명|arXiv (Cornell University)|2018. 07. 23.

Recommender Systems and Techniques참고 문헌 19인용 수 14

한 줄 요약

이 논문은 전이 신경망(RNNs)이 전자상거래 데이터셋에서 단기 및 장기 순차적 추천에 어떻게 작용하는지 평가하며, 층 정규화와 연결된 항목 임베딩을 사용하는 스택형 GRU 모델이 베이스라인을 능가함을 입증한다. 최적의 설정은 특히 장기 시퀀스에서 뚜렷한 성능 향상을 보이며, RNN이 즉각적이고 먼 거리의 사용자 상호작용을 모두 모델링할 수 있음을 확인한다.

ABSTRACT

Recommender systems objectives can be broadly characterized as modeling user preferences over short-or long-term time horizon. A large body of previous research studied long-term recommendation through dimensionality reduction techniques applied to the historical user-item interactions. A recently introduced session-based recommendation setting highlighted the importance of modeling short-term user preferences. In this task, Recurrent Neural Networks (RNN) have shown to be successful at capturing the nuances of user's interactions within a short time window. In this paper, we evaluate RNN-based models on both short-term and long-term recommendation tasks. Our experimental results suggest that RNNs are capable of predicting immediate as well as distant user interactions. We also find the best performing configuration to be a stacked RNN with layer normalization and tied item embeddings.

연구 동기 및 목표

• 단기 및 장기 순차적 추천 작업에서 RNN 기반 모델의 성능을 평가하기 위해.
• 최신 RNN 개선 기법인 층 정규화와 연결된 임베딩이 다양한 시간 간격에서 성능 향상에 기여하는지 조사하기 위해.
• 실제 전자상거래 데이터에서 단순 모델 및 베이스라인과 비교해 스택형 RNN과 계층적 아키텍처의 성능을 평가하기 위해.
• 시퀀스 길이가 장기 예측에서 모델 성능에 미치는 영향을 평가하기 위해.
• 특히 단기 시퀀스에서 행렬 분해 기반 베이스라인이 여전히 경쟁력이 있는지 판단하기 위해.

제안 방법

• 사용자 행동의 순차적 상호작용을 모델링하기 위해 핵심 RNN 아키텍처로 게이팅된 순환 유닛(GRUs)을 사용한다.
• 특히 깊거나 장기간의 시퀀스에서 기울기 흐름을 안정화하고 개선하기 위해 층 정규화를 적용한다.
• 모델 파라미터를 줄이고 일반화 성능을 향상시키기 위해 입력층과 출력층의 임베딩 행렬을 연결한다.
• 사용자 행동의 계층적 패턴을 포착하기 위해 스택형 2층 GRU 아키텍처를 사용한다.
• 단기 및 장기 예측 성능 평가를 위해 다양한 시간 단계에서 Recall@K 지표를 사용한다 (예: Recall@20,1 및 Recall@20,20).
• 학습 효율성을 향상시키기 위해 세션 병렬 미니배치와 출력 샘플링을 사용한 랭킹 손실을 사용해 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 RNN 기반 모델은 순차적 추천에서 즉각적인 미래 사용자 상호작용뿐 아니라 먼 미래의 상호작용도 효과적으로 예측할 수 있는가?
• RQ2 층 정규화와 연결된 임베딩의 사용이 단기 및 장기 추천 작업에서 RNN 성능 향상에 기여하는가?
• RQ3 스택형 2층 GRU는 단일층 또는 계층적 RNN 아키텍처에 비해 예측 성능에서 어떤 차이를 보이는가?
• RQ4 강력한 비-RNN 베이스라인, 예를 들어 공존 행렬 분해 기반 모델은 특히 단기 시퀀스에서 여전히 경쟁력이 있는가?
• RQ5 시퀀스 길이가 장기 추천에서 다양한 RNN 구성의 성능에 어떤 영향을 미치는가?

주요 결과

• 가장 뛰어난 성능을 보인 모델은 층 정규화와 연결된 항목 임베딩을 사용하는 스택형 2층 GRU이며, 두 데이터셋과 모든 지표에서 모든 베이스라인을 뛰어넘었다.
• 층 정규화는 장기 시퀀스에서 Yoochoose 데이터셋에서 10.6% 향상, 내부 데이터셋에서 11.5% 향상되어 장기 모델링에 큰 이점이 있음을 보여준다.
• 연결된 임베딩은 모델 파라미터를 크게 줄이고, 층 정규화와 함께 사용될 경우 성능 향상에 특히 효과적이다.
• 계층적 다층 RNN(HM-LSTM)은 단일층 GRU보다 성능이 열등한데, 이는 이산 변수를 다룰 때 학습의 불안정성과 복잡성 때문일 가능성이 높다.
• 단기 시퀀스(길이 ≤5)에서는 공존 행렬 분해 기반 베이스라인이 바닐라 GRU와 유사한 성능을 보이며, Yoochoose 데이터셋에서 0.3% 향상, 내부 데이터셋에서 1% 향상되었다.
• GRU 모델은 장기 예측에서 뚜렷한 성능 격차를 보였다: 다음 항목 예측에서는 베이스라인 대비 2.4% 향상되었지만, 20단계 앞선 예측에서는 최대 6.8% 향상되었다.