[논문 리뷰] Behavior Sequence Transformer for E-commerce Recommendation in Alibaba

Qiwei Chen, Huan Zhao외 3명|arXiv (Cornell University)|2019. 05. 15.

Recommender Systems and Techniques참고 문헌 18인용 수 34

한 줄 요약

본 논문은 Taobao 추천을 위해 사용자의 클릭 시퀀스를 모델링하기 위해 Transformer를 사용하는 행동 시퀀스 트랜스포머(BST)를 제안하고, 기저 baselines 대비 오프라인 AUC 및 온라인 CTR 향상을 보이고 생산 현장에서 배포되었다.

ABSTRACT

Deep learning based methods have been widely used in industrial recommendation systems (RSs). Previous works adopt an Embedding&MLP paradigm: raw features are embedded into low-dimensional vectors, which are then fed on to MLP for final recommendations. However, most of these works just concatenate different features, ignoring the sequential nature of users' behaviors. In this paper, we propose to use the powerful Transformer model to capture the sequential signals underlying users' behavior sequences for recommendation in Alibaba. Experimental results demonstrate the superiority of the proposed model, which is then deployed online at Taobao and obtain significant improvements in online Click-Through-Rate (CTR) comparing to two baselines.

연구 동기 및 목표

• 전자상거래에서 CTR 예측을 개선하기 위해 사용자 행동의 순차 신호를 포착할 필요성 제시.
• 임베딩&MLP 프레임워크 위에서 행동 시퀀스를 모델링하기 위한 Transformer 기반 아키텍처(BST)를 제안.
• 강력한 기준선 대비 BST의 오프라인 및 온라인 향상을 보여주고 Taobao에서의 생산 배포에 대해 논의.

제안 방법

• 임베딩 층을 사용해 다양한 특징을 저차원 벡터로 임베딩한다.
• 사용자 행동 시퀀스의 아이템에 대한 더 깊은 표현을 학습하기 위해 Transformer(셀프 어텐션)를 적용한다.
• 시퀀스 표현을 다른 특징들과 결합하고 CTR 예측을 위해 3층 MLP를 통과시킨다.
• 커스텀 포지션 인코딩을 활용한 위치 특징으로 아이템 위치를 포함한다.
• 교차 엔트로피 손실로 학습하고 정규화를 위해 드롭아웃과 LayerNorm을 사용한다.

실험 결과

연구 질문

• RQ1 Transformer 기반의 순차 모델링을 도입하면 WDL 및 DIN 기준선 대비 CTR 예측이 향상되는가?
• RQ2 BST가 baselines 및 순차적으로 향상된 WDL과 비교해 오프라인(AUC) 및 온라인(CTR)에서 어떤 성능을 보이나?
• RQ3 트랜스포머 블록 수가 성능과 생산 효율성에 미치는 영향은 무엇인가?
• RQ4 지연시간(RT) 및 배포 측면에서 대규모 생산에 BST가 feasible한가?

주요 결과

• BST는 오프라인 AUC를 0.7894로 향상시켜 WDL 및 DIN 기준선을 능가한다.
• BST는 b=1에서 대조군 대비 온라인 CTR 증가폭이 +7.57%로 가장 크다.
• 간단한 평균화(WDL(+Seq))으로 보강될 때 WDL은 순차 정보를 활용하며, Transformer를 적용한 BST는 더 풍부한 순차 신호를 포착한다.
• 단일 Transformer 블록(b=1) 구성의 BST가 최적의 오프라인 AUC를 달성하고 생산에 필요한 지연을 경쟁력 있게 유지한다.
• BST는 Taobao의 랭크 스테이지에 배포되어 수억 명의 사용자에게 서비스를 제공하고 평균 응답 시간을 허용 가능한 수준으로 유지했다.