[논문 리뷰] Attention-based Mixture Density Recurrent Networks for History-based Recommendation

Tian Wang, Kyunghyun Cho|arXiv (Cornell University)|2017. 09. 22.

Recommender Systems and Techniques참고 문헌 21인용 수 4

한 줄 요약

이 논문은 이력 기반 추천을 위한 다중 모달 사용자 행동 분포를 모델링하는 어텐션 기반 혼합 밀도 순환 신경망을 제안한다. 연속적인 아이템 임베딩과 어텐션을 통한 순차적 혼합 성분 생성을 통해, MovieLens-20M 및 RecSys15 데이터셋에서 기준 모델 대비 정밀도, 재현율, nDCG를 향상시킨다.

ABSTRACT

The goal of personalized history-based recommendation is to automatically output a distribution over all the items given a sequence of previous purchases of a user. In this work, we present a novel approach that uses a recurrent network for summarizing the history of purchases, continuous vectors representing items for scalability, and a novel attention-based recurrent mixture density network, which outputs each component in a mixture sequentially, for modelling a multi-modal conditional distribution. We evaluate the proposed approach on two publicly available datasets, MovieLens-20M and RecSys15. The experiments show that the proposed approach, which explicitly models the multi-modal nature of the predictive distribution, is able to improve the performance over various baselines in terms of precision, recall and nDCG.

연구 동기 및 목표

• 시간이 지남에 따라 동적이고 다중 모달 사용자 선호도를 포착하는 데에 매트릭스 분해 및 분류 기반 모델의 한계를 해결하기 위해.
• 대규모 어휘 추천에서의 확장성 문제를 해결하기 위해 아이템 예측을 이산 분류가 아닌 연속 벡터 분포로 모델링함으로써.
• 사용자가 다수의 별개의 선호도를 가질 수 있는 사용자 행동의 다중 모달 성격을 명시적으로 모델링하기 위해 혼합 밀도 네트워크를 사용하기 위해.
• 혼합 성분 생성 중 역사적 아이템을 동적으로 가중치를 부여함으로써 어텐션 기반 기법을 활용해 추천 성능을 향상시키기 위해.
• 주요 추천 모델에서 아이템 표현 학습을 분리함으로써 새로운 아이템에 대한 일반화 능력 향상과 확장성 향상을 위해.

제안 방법

• 사용자의 순차적 구매 이력을 고정 길이의 컨텍스트 벡터로 인코딩하기 위해 순환 신경망(RNN)을 사용한다.
• 어느 정도 사전 학습된 연속적인 아이템 임베딩(예: word2vec를 통해)을 사용하여 아이템을 저차원의 확장 가능한 공간에 표현한다.
• 어떤 혼합 성분도 순차적으로 생성하는 어텐션 기반 순환 혼합 밀도 네트워크(RMDN)를 구현하며, 향후 아이템의 조건부 분포를 모델링한다.
• 각 혼합 성분은 사용자 행동의 별개의 모드를 나타내며, 어텐션 가중치는 각 성분에 대해 관련된 역사적 아이템을 동적으로 참조한다.
• 관측된 향후 아이템의 가능도를 최대화하기 위해 밀도 추정 손실을 사용하여 모델을 엔드 투 엔드로 훈련시킨다.
• 출력층이 아이템 임베딩 공간에서 다변량 정규분포의 혼합 성분(평균, 분산, 혼합 가중치)의 파라미터를 예측하는 혼합 밀도 네트워크(MDN) 변종을 사용한다.

실험 결과

연구 질문

• RQ1 향후 아이템의 조건부 분포를 다중 모달 혼합으로 모델링하는 것이 단일 모달 또는 분류 기반 접근 방식에 비해 추천 성능을 향상시키는가?
• RQ2 혼합 성분 생성에 어텐션을 사용할 경우, 모델이 다양한 사용자 선호도를 포착하는 데에 어떤 영향을 미치는가?
• RQ3 혼합 성분의 수를 늘릴수록 사용자 행동의 복잡한 다중 모달 성격을 표현하는 데에 모델의 능력이 어느 정도 향상되는가?
• RQ4 아이템 임베딩 학습을 주요 추천 모델에서 분리함으로써 확장성 향상과 새로운 아이템에 대한 일반화 능력 향상이 이루어지는가?
• RQ5 실제 추천 데이터셋에서 정밀도, 재현율, nDCG 측면에서 제안된 방법이 최신 기준 모델들과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 모델은 MovieLens-20M 및 RecSys15 데이터셋 양쪽에서 모든 기준 모델을 상회하는 정밀도, 재현율, nDCG 성능을 기록했다.
• MovieLens-20M에서 RNN-ATT-RNN-8 버전은 nDCG@20가 0.2140을 기록했으며, 다음으로 좋은 기준 모델인 RNN-ATT-RNN-4에 비해 nDCG에서 5% 이상 향상되었다.
• RecSys15에서 RNN-ATT-RNN-8 모델은 nDCG@20가 0.2140을 기록했으며, RNN-ATT-RNN-4 기준 모델 대비 10%의 상대적 향상률을 보였다.
• 혼합 성분의 수를 늘릴수록 성능 향상이 일관되게 관찰되어, 사용자 행동이 본질적으로 다중 모달이며 다성분 혼합 모델에 의해 더 잘 포착됨을 확인했다.
• 어텐션 메커니즘이 각 혼합 성분 생성 시 관련된 역사적 아이템에 집중할 수 있도록 해, 다양한 사용자 선호도의 표현을 향상시켰다.
• RNN-ATT-RNN-8는 RecSys15에서 R@20가 35.78%를 기록하여, 장기 꼬리 추천 능력이 뛰어나 성능이 다양한 지표에서 안정적이었다.