[논문 리뷰] A Hierarchical Contextual Attention-based GRU Network for Sequential Recommendation

Qiang Cui, Shu Wu외 2명|arXiv (Cornell University)|2017. 11. 14.

Recommender Systems and Techniques참고 문헌 29인용 수 11

한 줄 요약

이 논문은 입력과 은닉 상태에 대한 이중 수준의 주의 메커니즘을 통해 장기적 사용자 선호도와 단기적 관심사를 모두 모델링함으로써 순차적 추천을 향상시키는 계층적 문맥 주의 기반 GRU 네트워크인 HCA-GRU를 제안한다. 이 방법은 두 개의 실세계 데이터셋에서 표준 RNN 및 최신 기술 기준(SOTA) 기준선을 초월하여 MAP 및 NDCG와 같은 순위 매트릭스에서 최고 성능을 달성한다.

ABSTRACT

Sequential recommendation is one of fundamental tasks for Web applications. Previous methods are mostly based on Markov chains with a strong Markov assumption. Recently, recurrent neural networks (RNNs) are getting more and more popular and has demonstrated its effectiveness in many tasks. The last hidden state is usually applied as the sequence's representation to make recommendation. Benefit from the natural characteristics of RNN, the hidden state is a combination of long-term dependency and short-term interest to some degrees. However, the monotonic temporal dependency of RNN impairs the user's short-term interest. Consequently, the hidden state is not sufficient to reflect the user's final interest. In this work, to deal with this problem, we propose a Hierarchical Contextual Attention-based GRU (HCA-GRU) network. The first level of HCA-GRU is conducted on the input. We construct a contextual input by using several recent inputs based on the attention mechanism. This can model the complicated correlations among recent items and strengthen the hidden state. The second level is executed on the hidden state. We fuse the current hidden state and a contextual hidden state built by the attention mechanism, which leads to a more suitable user's overall interest. Experiments on two real-world datasets show that HCA-GRU can effectively generate the personalized ranking list and achieve significant improvement.

연구 동기 및 목표

• RNN의 단일 시간 순서 의존성 가정으로 인해 사용자 단기적 관심사를 모델링하는 데 한계가 존재하는 문제를 해결하기 위해.
• 최근 항목 간의 복잡한 局소 상관관계를 포착함으로써 순차적 추천을 향상시키기 위해.
• 장기적 의존성과 단기적 관심사를 효과적으로 융합하여 더 나은 사용자 표현을 얻기 위해.
• 최근 항목과 은닉 상태에 대해 비단조화적이고 시간에 종속되지 않는 가중치를 할당하는 계층적 주의 메커니즘을 개발하기 위해.
• 베이지안 개인화 순위(BPR)와 타임을 거슬러 내려가는 역전파(BPTT)를 사용하여 개인화 순위 성능을 최적화하기 위해.

제안 방법

• 입력 시퀀스에 대한 첫 번째 수준 주의를 포함하는 이중 수준 계층 아키텍처를 도입하여 최근 항목들로부터 문맥적 입력을 구성한다.
• 최근 입력에 대해 동적이고 비단조화적인 가중치를 할당하는 주의 메커니즘을 적용하여 국소 항목 상관관계를 더 잘 모델링할 수 있도록 한다.
• 다른 주의 메커니즘을 사용하여 최근 은닉 상태들로부터 문맥적 은닉 상태를 구성함으로써 단기적 관심 패턴을 포착한다.
• 현재 은닉 상태와 문맥적 은닉 상태를 융합하여 장기적 및 단기적 관심사를 모두 포함하는 더 풍부한 사용자 표현을 형성한다.
• 입력과 은닉 상태 양쪽 모두에 대해 학습 가능한 창 크기를 갖는 윈도우 기반 접근 방식을 사용하여 문맥 모델링을 수행한다.
• 순차적 추천 작업에서 순위 성능을 최적화하기 위해 BPR 손실과 BPTT를 사용하여 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 계층적 주의 메커니즘이 순차적 추천에서 단기적 사용자 관심사를 향상시킬 수 있는가?
• RQ2 입력 수준과 은닉 상태 수준의 주의를 분리함으로써 표준 RNN을 초월하는 표현 학습을 향상시킬 수 있는가?
• RQ3 입력과 은닉 상태에 대한 윈도우 크기가 다양한 순차적 추천 데이터셋에서 성능에 미치는 영향은 어떠한가?
• RQ4 RNN의 고정된 시간 감쇠와 비교해 비단조화적 주의 가중치가 최근 사용자 행동에서 중요한 항목을 더 잘 포착할 수 있는가?
• RQ5 제안된 HCA-GRU는 MAP 및 NDCG와 같은 순위 매트릭스에서 최고 성능을 달성하는가?

주요 결과

• HCA-GRU는 Taobao 및 Outbrain 데이터셋 양쪽에서 표준 GRU 및 SOTA 기준선을 초월하여 MAP 및 NDCG에서 뚜렷한 향상을 이룬다.
• 입력 문맥화에 최적의 윈도우 너비는 Taobao에서 w_x = 3, Outbrain에서 w_x = 2이며, 이는 데이터셋에 따라 다른 시퀀스 길이 민감도를 나타낸다.
• 은닉 상태 문맥화에 최적의 윈도우 너비는 Taobao에서 w_h = 5, Outbrain에서 w_h = 3이며, 성능이 이 값에서 최고에 도달한다.
• 입력에 대한 주의 가중치는 비단조화적이며 문맥에 민감한 중요도를 보이며, 시간적 근접성과는 무관하게 핵심 항목이 높은 가중치를 받는다.
• Outbrain에서 은닉 상태 주의 가중치는 단조 감소 패턴을 보이며, Taobao에서는 더 균일하게 분포되어 있어 행동 역학이 다름을 시사한다.
• Taobao에서 w_x = 5, w_h = 5, Outbrain에서 w_x = 2, w_h = 3 조합이 가장 뛰어난 전체 성능을 보이며, 계층적 설계의 효과성을 확인한다.