[논문 리뷰] SDM: Sequential Deep Matching Model for Online Large-scale Recommender System

Fuyu Lv, Taiwei Jin외 5명|arXiv (Cornell University)|2019. 09. 01.

Recommender Systems and Techniques참고 문헌 33인용 수 17

한 줄 요약

이 논문은 다중 헤드 자기주의를 사용해 단기 세션 내 다양한 관심사를 모델링하고, 장기적 선호도를 선택적으로 통합하는 장단기 게이트드 퓨전 모듈을 결합한 순차적 딥 매칭 모델인 SDM을 제안한다. 이 모델은 오프라인 데이터셋에서 최신 기술 수준의 성능을 달성했으며, 타오바오의 대규모 추천 시스템에 성공적으로 도입되어 핵심 상업적 지표를 향상시켰다.

ABSTRACT

Capturing users' precise preferences is a fundamental problem in large-scale recommender system. Currently, item-based Collaborative Filtering (CF) methods are common matching approaches in industry. However, they are not effective to model dynamic and evolving preferences of users. In this paper, we propose a new sequential deep matching (SDM) model to capture users' dynamic preferences by combining short-term sessions and long-term behaviors. Compared with existing sequence-aware recommendation methods, we tackle the following two inherent problems in real-world applications: (1) there could exist multiple interest tendencies in one session. (2) long-term preferences may not be effectively fused with current session interests. Long-term behaviors are various and complex, hence those highly related to the short-term session should be kept for fusion. We propose to encode behavior sequences with two corresponding components: multi-head self-attention module to capture multiple types of interests and long-short term gated fusion module to incorporate long-term preferences. Successive items are recommended after matching between sequential user behavior vector and item embedding vectors. Offline experiments on real-world datasets show the superior performance of the proposed SDM. Moreover, SDM has been successfully deployed on online large-scale recommender system at Taobao and achieves improvements in terms of a range of commercial metrics.

연구 동기 및 목표

• 대규모 추천 시스템에서 동적이고 변화하는 사용자 선호도를 포착하는 데에 정적 아이템 기반 협업 필터링의 한계를 해결하기 위해.
• 기존의 단일 주의 메커니즘으로는 포착하지 못하는 단일 단기 사용자 세션 내 다중 관심 경향을 모델링하기 위해.
• 현재 단기 세션 관심사와 장기 사용자 선호도를 유효하게 융합하기 위해 가장 관련성이 높은 장기 행동에만 집중하기 위해.
• 실제 산업 응용에서 추천 정확도와 상업적 지표 향상을 향상시킬 수 있는 확장 가능하고 온라인 배포가 가능한 매칭 모델을 설계하기 위해.
• 장기 행동에서 노이즈 또는 관련성이 없는 요소들이 융합 과정에서 단기 세션 표현을 왜곡하는 문제를 해결하기 위해.

제안 방법

• 단일 단기 세션 내 다양한 사용자 관심사를 모델링하기 위해 다중 헤드 자기주의 메커니즘을 사용하여, 다양한 측면(예: 카테고리, 브랜드, 스타일)을 동시에 주의할 수 있도록 한다.
• 장단기 게이트드 퓨전 모듈을 활용해 현재 단기 세션 표현과 관련성이 가장 높은 장기 사용자 행동만을 선택적으로 주의하고 융합하도록 학습한다.
• 시간적 의존성을 포착하기 위해 순차적 사용자 행동을 인코딩하기 위해 양방향 LSTM을 활용한다.
• 최종 LSTM 은닉 상태를 쿼리로 사용해 이전 세션 아이템들에 대한 주의 가중치를 계산하기 위해 쿼리 기반 다중 헤드 주의를 적용한다.
• 유연하게 관련성에 따라 장기 선호도 기여도를 제어할 수 있도록 학습 가능한 게이트 메커니즘을 사용한다.
• 최종 사용자 표현(단기 및 장기 행동에서 융합된 표현)과 아이템 임베딩 벡터 간의 매칭을 수행해 아이템을 순위 매기고 추천한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 어떻게 단일 단기 쇼핑 세션 내에서 공존하는 다중 관심사를 효과적으로 포착할 수 있는가?
• RQ2 장기 사용자 선호도를 현재 세션 행동과 융합하는 최적의 방법은 무엇인가? 이는 추천 정확도 향상에 어떻게 기여하는가?
• RQ3 다중 헤드 자기주의의 포함이 단일 주의 또는 RNN 전용 접근 방식에 비해 동적 사용자 선호도 모델링에 어떻게 향상되는가?
• RQ4 현재 세션에 관련성이 높은 장기 행동만을 선택적으로 융합하는 방식이 단순한 연결 또는 덧셈에 비해 얼마나 더 우수한가?
• RQ5 온라인 배포가 가능한 순차적 딥 매칭 모델이 실제 산업 환경에서 측정 가능한 상업적 지표 향상에 기여할 수 있는가?

주요 결과

• 제안된 SDM 모델은 오프라인 타오바오 데이터셋에서 HitRate@100이 70.72%를 기록하여, 단순한 융합 메커니즘을 사용하는 기준 모델들을 능가했다.
• 네 개의 주의 헤드를 사용할 경우 최고의 성능를 기록했으며, 헤드 수가 네 개를 초과하면 각 헤드의 표현 용량이 감소해 성능이 저하됨을 확인했다.
• 게이트드 퓨전 모듈은 연결, 덧셈, 원소별 곱셈과 같은 단순 융합 방법보다 뚜렷이 우수했으며, F1@100 점수에서 2.93% 향상된 성과를 기록했다.
• 시각화 결과 각 주의 헤드가 서로 다른 사용자 관심사를 주의하고 있음(예: 화이트 다운자켓, 청바지, 드레스)을 확인하여, 모델이 다중 관심사를 효과적으로 포착할 수 있음을 검증했다.
• 현재 세션 행동과 관련된 장기 선호도를 융합함으로써 '챔피언 선글라스'와 '레드 와인 decanter'와 같은 관련 있는 아이템을 성공적으로 추천하여, 맥락적으로 관련성이 높은 아이템에 주의를 기울이는 효과를 입증했다.
• SDM은 타오바오의 생산 추천 시스템에 도입되어 핵심 상업적 지표에서 측정 가능한 향상을 이룩했으며, 실제 적용에서의 효과성을 확인했다.