[논문 리뷰] Context-aware Sequential Recommendation

Qiang Liu, Shu Wu외 3명|arXiv (Cornell University)|2016. 09. 19.

Recommender Systems and Techniques참고 문헌 13인용 수 23

한 줄 요약

이 논문은 타오바오 및 Movielens-1M 데이터셋에서 최신 기술 대비 뚜렷한 성능 향상을 이룬, 맥락에 민감한 순환 신경망(CA-RNN)을 제안한다. CA-RNN는 시간, 위치, 행동 간 간격과 같은 맥락적 요인에 따라 입력 행렬과 전이 행렬을 동적으로 적응시키는 새로운 모델로, 실생활 사용자 행동의 풍부한 맥락 정보를 효과적으로 포착한다.

ABSTRACT

Since sequential information plays an important role in modeling user behaviors, various sequential recommendation methods have been proposed. Methods based on Markov assumption are widely-used, but independently combine several most recent components. Recently, Recurrent Neural Networks (RNN) based methods have been successfully applied in several sequential modeling tasks. However, for real-world applications, these methods have difficulty in modeling the contextual information, which has been proved to be very important for behavior modeling. In this paper, we propose a novel model, named Context-Aware Recurrent Neural Networks (CA-RNN). Instead of using the constant input matrix and transition matrix in conventional RNN models, CA-RNN employs adaptive context-specific input matrices and adaptive context-specific transition matrices. The adaptive context-specific input matrices capture external situations where user behaviors happen, such as time, location, weather and so on. And the adaptive context-specific transition matrices capture how lengths of time intervals between adjacent behaviors in historical sequences affect the transition of global sequential features. Experimental results show that the proposed CA-RNN model yields significant improvements over state-of-the-art sequential recommendation methods and context-aware recommendation methods on two public datasets, i.e., the Taobao dataset and the Movielens-1M dataset.

연구 동기 및 목표

• 실생활 사용자 행동에서 풍부한 맥락 정보를 포착하는 데에 한계가 있는 기존 순차 추천 모델의 문제점을 해결한다.
• 외부 조건(예: 시간, 위치)인 입력 맥락과 연속 행동 간 간격인 전이 맥락이라는 두 가지 유형의 맥락을 식별하고 모델링한다.
• 두 맥락 유형을 통합한 유일한 프레임워크를 개발하여 순환 신경망 아키텍처에 통합함으로써 순차 예측 성능을 향상시킨다.
• 입력 맥락과 전이 맥락을 동시에 모델링할 경우, 단일 맥락 유형만 고려하는 모델보다 우수한 성능을 달성함을 입증한다.

제안 방법

• 시간대, 위치, 날씨와 같은 외부 상황적 요인에 따라 변하는 적응형 맥락 기반 입력 행렬로 기존 RNN의 고정 입력 행렬을 대체한다.
• 연속적인 사용자 행동 간 시간 간격에 기반해 적응하는 맥락 기반 전이 행렬을 도입하여 시간에 따라 변화하는 전이 동역학을 포착한다.
• 사용자 선호도 예측의 순위 성능을 극대화하기 위해 베이지안 개인화 랭킹(BPR)을 최적화에 활용한다.
• 백프로파게이션을 시간에 따라 적용(BPTT)하여 모델을 엔드 투 엔드로 훈련시키며, 맥락에 민감한 표현의 기반으로 기울기 기반 학습을 가능하게 한다.
• 입력 맥락과 전이 맥락을 별도의 적응형 행렬 메커니즘을 통해 명시적으로 모델링하는 모듈러 아키텍처를 설계한다.
• 각 맥락 유형의 기여도를 분리하기 위해 CA-RNN-input 및 CA-RNN-transition 변형에 대한 추론 분석을 수행한다.

실험 결과

연구 질문

• RQ1 시간, 위치, 날씨와 같은 입력 맥락은 순차 추천에서 사용자 행동 예측에 어떻게 영향을 미치는가?
• RQ2 연속 행동 간 간격으로 정의되는 전이 맥락은 순차적 의존성 모델링에 어느 정도 기여하는가?
• RQ3 통합된 RNN 기반 모델이 입력 맥락과 전이 맥락을 효과적으로 통합하여 추천 정확도를 향상시킬 수 있는가?
• RQ4 CA-RNN의 성능은 최신 기술 수준의 순차 및 맥락 인식 추천 모델과 비교해 어떻게 되는가?
• RQ5 맥락에 민감한 RNN 프레임워크에서 학습된 표현의 최적 차원 수는 얼마인가?

주요 결과

• CA-RNN는 최신 기술 수준의 순차 추천 모델보다 뚜렷한 성능 향상을 보이며, 타오바오 데이터셋에서 RNN 대비 Recall@1에서 91.8%의 상대적 향상을 달성한다.
• Movielens-1M 데이터셋에서 CA-RNN는 RNN 대비 Recall@1에서 19.1% 향상되고 NDCG는 9.5% 향상되어 다양한 지표에서 일관된 성능 향상을 보인다.
• 타오바오 데이터셋에서 CA-RNN는 RNN 대비 MAP에서 60.4%의 상대적 향상과 NDCG에서 31.5% 향상을 기록하여 순위 성능 향상 효과를 입증한다.
• 타오바오 데이터셋에서는 CA-RNN-input이 CA-RNN-transition보다 우수한 성능을 보였고, Movielens-1M에서는 반대로 CA-RNN-transition이 더 뛰어나, 맥락 유형의 성능이 데이터 특성에 따라 달라짐을 시사한다.
• 임베딩 차원이 다양한 경우에도 CA-RNN은 뛰어난 성능을 유지하며, 타오바오에서는 d=20, Movielens-1M에서는 d=10에서 최적 성능를 기록하여 하이퍼파rameter 설정에 대한 강건성을 보여준다.
• 최적의 차원 수가 아니더라도 CA-RNN는 항상 기존 RNN보다 뛰어난 성능을 보이며, 표현 학습에서 맥락에 민감한 적응의 가치를 확인한다.