[논문 리뷰] Contextual Sequence Modeling for Recommendation with Recurrent Neural Networks

Elena Smirnova, Flavian Vasile|arXiv (Cornell University)|2017. 06. 23.

Recommender Systems and Techniques참고 문헌 8인용 수 4

한 줄 요약

이 논문은 상호작용 유형, 시간 간격, 시계열 시간과 같은 맥락적 특징을 입력/출력 레이어와 은닉 상태 동역학에 통합함으로써 세션 기반 추천을 향상시키는 맥락적 순환 신경망(CRNNs)을 제안한다. CRNNs는 비맥락적 RNNs와 기준 모델보다 유의하게 뛰어나며, 희귀 세일 이벤트에서 Recall@10이 최대 12.5% 향상되고 비히스토리컬 아이템에서 10.2% 향상된다.

ABSTRACT

Recommendations can greatly benefit from good representations of the user state at recommendation time. Recent approaches that leverage Recurrent Neural Networks (RNNs) for session-based recommendations have shown that Deep Learning models can provide useful user representations for recommendation. However, current RNN modeling approaches summarize the user state by only taking into account the sequence of items that the user has interacted with in the past, without taking into account other essential types of context information such as the associated types of user-item interactions, the time gaps between events and the time of day for each interaction. To address this, we propose a new class of Contextual Recurrent Neural Networks for Recommendation (CRNNs) that can take into account the contextual information both in the input and output layers and modifying the behavior of the RNN by combining the context embedding with the item embedding and more explicitly, in the model dynamics, by parametrizing the hidden unit transitions as a function of context information. We compare our CRNNs approach with RNNs and non-sequential baselines and show good improvements on the next event prediction task.

연구 동기 및 목표

• 기존의 RNN 기반 추천 모델이 상호작용 유형, 시간 간격, 시계열 시간과 같은 맥락적 특징을 忽시하는 한계를 해결한다.
• 입력/출력 레이어뿐 아니라 은닉 상태 전이에도 맥락 정보를 모델링하여 다음 아이템 예측 정확도를 향상시킨다.
• 희귀 이벤트(예: 세일)와 이전에 본 적 없는 아이템과 같은 어려운 케이스에서 맥락 모델링이 유의미한 성능 향상을 이끌어내는지 입증한다.
• 실제 전자상거래 데이터 세트에서 비순차적 및 순차적 기준 모델과의 벤치마크를 통해 효과성을 검증한다.

제안 방법

• 입력/출력 레이어에서 아이템 임베딩과 맥락 임베딩을 비선형 변환을 통해 조합하는 맥락적 RNN(CRNNs)의 가문을 도입한다.
• 은닉 상태 전이를 맥락에 따라 매개변수화함으로써 RNN 셀 내에서 맥락 인식 동역학을 가능하게 한다.
• 두 가지 아키텍처 변형을 탐색: 맥락 의존적 입력/출력 모델링과 맥락 의존적 동역학 모델링.
• 아이템 임베딩과 맥락 임베딩 간의 연결 및 곱셈 상호작용을 사용한 GRU 기반 RNNs를 적용한다.
• 잔차 연결과 배치 정규화를 사용한 다층 CRNNs를 적용하여 학습을 안정화시킨다.
• 세션 수준의 시퀀스에서 다음 아이템 예측을 위한 교차 엔트로피 손실을 사용해 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 RNN 기반 추천 모델에 상호작용 유형, 시간 간격, 시계열 시간과 같은 맥락적 특징을 통합하면 다음 아이템 예측 정확도가 향상되는가?
• RQ2 입력/출력에 맥락이 있는 경우와 은닉 상태 동역학에 맥락이 있는 경우의 서로 다른 아키텍처 설계가 모델 성능에 어떤 영향을 미치는가?
• RQ3 맥락의 포함이 희귀 이벤트(예: 세일)와 비히스토리컬 아이템과 같은 어려운 예측 케이스에서 측정 가능한 성능 향상을 이끌어내는가?
• RQ4 시퀀스 길이와 마지막 이벤트 이후 경과 시간에 따라 모델 성능은 어떻게 변하는가?
• RQ5 실제 전자상거래 데이터에서 비맥락적 RNNs와 기존 기준 모델보다 CRNNs가 더 잘 일반화되는가?

주요 결과

• Concat-Mult-Context-RNN 모델이 가장 높은 성능을 기록했으며, YooChoose 데이터셋에서 가장 우수한 기준 모델 대비 세일 이벤트에서 Recall@10이 12.5% 향상되었다.
• 비히스토리컬 아이템에서 최고의 CRNN 모델은 기준 모델 대비 Recall@10을 10.2% 향상시켜, 본 적 없는 아이템에 대한 일반화 능력 향상을 보여주었다.
• 성능 향상은 희귀 이벤트(예: 세일, 전체 이벤트의 5% 미만)와 더 긴 시퀀스에서 가장 두드러졌으며, 시퀀스 길이가 길어질수록 성능 향상이 증가했다.
• 매우 최근 이벤트(시간 간격 < 2초)에서 가장 큰 성능 향상을 보였으며, 이는 시간적 맥락에 매우 민감함을 시사한다.
• 모든 CRNN 변종이 비맥락적 RNNs와 기준 모델을 유의미하게 뛰어넘었으며, 30번의 부트스트랩을 통한 95% 신뢰구간으로 통계적 유의성을 확인했다.
• 입력/출력 레이어와 은닉 상태 동역학 양쪽에 맥락을 통합한 조합(Concat-Mult-Context-RNN)이 가장 강력한 전반적 성능 향상을 이끌었다.