[논문 리뷰] Improved Recurrent Neural Networks for Session-based Recommendations

Yong Tan, Xinxing Xu외 1명|arXiv (Cornell University)|2016. 06. 27.

Recommender Systems and Techniques참고 문헌 25인용 수 65

한 줄 요약

이 논문은 순환 신경망(RNN)을 활용한 세션 기반 추천을 위해 시퀀스 전처리 및 임베딩 드롭아웃을 통한 데이터 증강, 사용자 행동의 시간적 이동을 고려한 방법, 그리고 직접 항목 임베딩을 예측하는 새로운 모델을 제안함으로써 성능을 향상시켰다. 이 방법은 실시간 배포에 적합하게 추론 시간과 모델 크기를 줄이며, Recall@20와 MRR@20에서 각각 12.8% 및 14.8%의 상대적 향상률을 달성하였다.

ABSTRACT

Recurrent neural networks (RNNs) were recently proposed for the session-based recommendation task. The models showed promising improvements over traditional recommendation approaches. In this work, we further study RNN-based models for session-based recommendations. We propose the application of two techniques to improve model performance, namely, data augmentation, and a method to account for shifts in the input data distribution. We also empirically study the use of generalised distillation, and a novel alternative model that directly predicts item embeddings. Experiments on the RecSys Challenge 2015 dataset demonstrate relative improvements of 12.8% and 14.8% over previously reported results on the Recall@20 and Mean Reciprocal Rank@20 metrics respectively.

연구 동기 및 목표

• 기존 베이스라인을 초월하여 RNN 기반 세션 기반 추천 모델의 성능을 향상시키는 것.
• 사용자 행동의 시간적 이동을 반영하기 위해 최근 데이터 분량을 재학습하여 데이터 분포의 변화를 다루는 것.
• 항목 분류 대신 직접 항목 임베딩을 예측하여 추론 시간과 메모리 사용량을 줄이고 실시간 배포에 적합하게 만드는 것.
• 소규모 데이터셋에서 특권 정보를 활용한 정규화 기법의 효과를 평가하는 것.
• 임베딩 드롭아웃 및 시퀀스 전처리와 같은 데이터 증강 기법이 모델 일반화에 미치는 영향을 조사하는 것.

제안 방법

• 과적합을 줄이고 훈련 데이터를 증강하기 위해 시퀀스 전처리 및 임베딩 드롭아웃을 적용하는 것.
• 사용자 행동의 시간적 이동을 반영하기 위해 최근 데이터 분량으로 모델을 재학습하는 것.
• 미래 시퀀스로 훈련된 교사 모델의 소프트 레이블을 활용한 지식 정규화를 통해 학생 모델의 성능을 향상시키는 것.
• 직접 항목 임베딩을 예측하는 새로운 RNN 아키텍처를 제안하고, 점수 계산을 위해 코사인 유사도 레이어를 사용하는 것.
• GRU 레이어를 사용하여 100 또는 1000개의 은닉 유닛을 설정하고, 순위 기반 손실 함수를 적용하여 모델을 훈련하는 것.
• 구현에 Keras와 Theano를 사용하고, RecSys Challenge 2015 데이터셋을 활용해 모델 평가를 수행하는 것.

실험 결과

연구 질문

• RQ1 시퀀스 전처리 및 임베딩 드롭아웃을 통한 데이터 증강이 RNN 기반 세션 추천 성능 향상에 기여하는가?
• RQ2 최근 데이터 분량으로 재학습할 경우 사용자 행동의 시간적 이동이 존재하는 상황에서 모델 성능에 어떤 영향을 미치는가?
• RQ3 미래 시퀀스에서 얻은 특권 정보를 활용한 지식 정규화가 소규모 데이터셋에서 성능 향상에 기여하는가?
• RQ4 소프트맥스 출력 레이어 대신 항목 임베딩을 직접 예측하는 방식이 정확도를 희생시키지 않으면서도 추론 시간과 모델 크기를 줄이는가?
• RQ5 제안된 임베딩 기반 RNN 모델에서 예측 정확도와 추론 효율성 사이의 상충 관계는 어떠한가?

주요 결과

• 제안된 데이터 증강 전략은 이전의 RNN 기반 결과 대비 Recall@20에서 12.8%의 상대적 향상과 MRR@20에서 14.8%의 상대적 향상을 달성하였다.
• 최근 데이터 분량으로 재학습함으로써 성능 향상이 이루어졌으며, 이는 사용자 행동이 시간에 따라 변화하고 이러한 변화를 고려해야 한다는 것을 시사한다.
• 특권 정보를 활용한 지식 정규화는 소규모 데이터셋에서 미미한 성능 향상을 가져왔으며, 이는 저데이터 환경에서의 유용성을 입증한다.
• 직접 항목 임베딩을 예측하는 모델(M4)은 분류 기반 모델 대비 배치 예측 시간을 약 60% 감소시키고 모델 크기를 60% 이상 줄였다.
• GRU 크기를 100에서 1000으로 늘여도 성능 향상이 유의미하게 이루어지지 않아, 일정 용량을 초과하면 수익 감소 현상이 나타남을 시사한다.
• M4 모델은 Recall@20가 0.6676, MRR@20가 0.2847을 기록하여 베이스라인 RNN 모델보다 우수한 성능를 보였지만, M1 및 M2 모델에 비해 성능이 열등하여 보다 나은 임베딩을 통해 향상 여지가 있음을 시사한다.