[논문 리뷰] A Review-Driven Neural Model for Sequential Recommendation

Chenliang Li, Xichuan Niu외 3명|arXiv (Cornell University)|2019. 07. 01.

Recommender Systems and Techniques참고 문헌 7인용 수 7

한 줄 요약

이 논문은 사용자 및 아이템 표현을 특성 인식 리뷰 임베딩에서 통합하고, 유니언 수준 및 개별 수준의 순차적 패턴을 포착하기 위해 앵커드 어텐션 메커니즘을 활용하는 리뷰 기반 신경 순차 추천 모델인 RNS를 제안한다. RNS는 사용자 리뷰에서 풍부한 의미 신호를 활용하여 순차 추천 정확도를 향상시킴으로써 세 개의 실세계 데이터셋에서 최신 기술 모델을 뛰어넘는 성능을 달성한다.

ABSTRACT

Writing review for a purchased item is a unique channel to express a user's opinion in E-Commerce. Recently, many deep learning based solutions have been proposed by exploiting user reviews for rating prediction. In contrast, there has been few attempt to enlist the semantic signals covered by user reviews for the task of collaborative filtering. In this paper, we propose a novel review-driven neural sequential recommendation model (named RNS) by considering users' intrinsic preference (long-term) and sequential patterns (short-term). In detail, RNS is devised to encode each user or item with the aspect-aware representations extracted from the reviews. Given a sequence of historical purchased items for a user, we devise a novel hierarchical attention over attention mechanism to capture sequential patterns at both union-level and individual-level. Extensive experiments on three real-world datasets of different domains demonstrate that RNS obtains significant performance improvement over uptodate state-of-the-art sequential recommendation models.

연구 동기 및 목표

• 순차 추천 모델에서 사용자 리뷰 의미 정보의 통합 부족 문제를 해결하기 위해.
• 리뷰 유래 표현을 활용하여 장기적 사용자 선호도와 단기적 순차 패턴을 모두 모델링하기 위해.
• 유저 선호도를 유니언 수준 및 개별 수준의 다중 해상도에서 동적으로 포착함으로써 추천 성능을 향상시키기 위해.
• 특성 인식 특징 추출 및 계층적 어텐션 메커니즘의 효과성을 순차 추천에서 검증하기 위해.

제안 방법

• 특성 인식 컨볼루션 신경망(CNN)을 사용하여 리뷰 텍스트에서 특정 특성에 중점을 두고 사용자 및 아이템 표현을 추출한다.
• 유니언 수준(그룹화된 아이템 시퀀스)과 개별 수준(단일 아이템 전이)의 두 수준에서 순차적 선호도를 모델링하기 위해 계층적 어텐션 오버 어텐션 메커니즘을 설계한다.
• 사용자 고유의 장기적 선호도는 특성 인식 리뷰 임베딩에서 유도되며, 단기적 선호도는 순차 전이의 어텐션 가중 평균화를 통해 캡처된다.
• 최종 사용자 표현은 가중치 학습 가능한 가중 융합을 통해 장기적 및 단기적 선호도를 결합하며, 이는 하이퍼파rameter α에 의해 제어된다.
• 구매 순서 정보를 유지하기 위해 위치 임베딩을 통합한다.
• 다음 아이템 예측을 최적화하기 위해 랭킹 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 사용자 리뷰의 의미 신호를 통합하면 순차 추천 성능이 향상되는가?
• RQ2 유니언 수준 및 개별 수준의 순차 패턴은 사용자 선호도 모델링에 어떻게 다르게 기여하는가?
• RQ3 특성 인식 특징 추출과 계층적 어텐션 메커니즘은 순차 추천에서 상대적으로 얼마나 중요한가?
• RQ4 시퀀스 길이(L) 및 어텐션 가중치(α)와 같은 하이퍼파rameter는 모델 성능에 어떻게 영향을 미치는가?

주요 결과

• RNS는 실세계 데이터셋 세 개인 Instant Video, Pet Supplies, Tools and Home Improvement에서 최신 기술 순차 추천 모델을 뛰어넘는 유의미한 성능 향상을 달성한다.
• 계층적 어텐션 메커니즘이 유니언 수준 또는 개별 수준 어텐션만 사용하는 모델보다 우수한 성능을 보이며, 다중 해상도 순차 패턴을 모델링하는 데의 효과성을 확인한다.
• 위치 임베딩을 제거하면 성능이 뚜렷이 저하되며, 이는 구매 순서가 순차 추천에 중요한 신호임을 시사한다.
• 특성 인식 특징 추출이 모델 성능 향상에 기여하며, 이는 리뷰에서 유도된 특성 기반 의미 정보가 원시 텍스트 임베딩보다 더 구분력이 있음을 보여준다.
• 최적의 하이퍼파ram터 설정은 L=5 및 α=0.1이며, 여기서 L은 시퀀스 길이를 제어하고 α는 장기적 및 단기적 선호도의 균형을 조절한다.
• 사례 연구를 통해 계층적 어텐션 메커니즘이 동적 사용자 선호도를 효과적으로 포착함을 확인하였으며, 일부 사용자는 최근 아이템에 더 의존하고 다른 사용자는 더 넓은 아이템 그룹에 더 의존하는 경향을 보였다.