[논문 리뷰] E-commerce in Your Inbox: Product Recommendations at Scale

Mihajlo Grbovic, Vladan Radosavljević외 5명|arXiv (Cornell University)|2016. 06. 23.

Recommender Systems and Techniques참고 문헌 28인용 수 38

한 줄 요약

이 논문은 이메일 수령내역에서 추출한 사용자 구매 이력을 활용하여 Yahoo 메일에서 확장 가능한 신경망 기반 제품 추천 시스템을 제안한다. 시간적 순서를 고려한 신경어휘모델을 사용하여 제품을 저차원 벡터 공간에 임bedding하고 제품 클러스터 간 전이를 모델링함으로써, 기준 광고 형식 대비 클릭률이 9% 향상되어 실제 운영 환경에서 뚜렷한 효과를 입증하였다.

ABSTRACT

In recent years online advertising has become increasingly ubiquitous and effective. Advertisements shown to visitors fund sites and apps that publish digital content, manage social networks, and operate e-mail services. Given such large variety of internet resources, determining an appropriate type of advertising for a given platform has become critical to financial success. Native advertisements, namely ads that are similar in look and feel to content, have had great success in news and social feeds. However, to date there has not been a winning formula for ads in e-mail clients. In this paper we describe a system that leverages user purchase history determined from e-mail receipts to deliver highly personalized product ads to Yahoo Mail users. We propose to use a novel neural language-based algorithm specifically tailored for delivering effective product recommendations, which was evaluated against baselines that included showing popular products and products predicted based on co-occurrence. We conducted rigorous offline testing using a large-scale product purchase data set, covering purchases of more than 29 million users from 172 e-commerce websites. Ads in the form of product recommendations were successfully tested on online traffic, where we observed a steady 9% lift in click-through rates over other ad formats in mail, as well as comparable lift in conversion rates. Following successful tests, the system was launched into production during the holiday season of 2014.

연구 동기 및 목표

• 이메일 광고 기반으로 사용자 구매 이력을 활용하여 확장 가능하고 개인화된 제품 추천 시스템을 개발한다.
• 기존의 공동 발생 또는 인기 기반 추천 방식의 한계를 극복하기 위해 시간에 따라 변화하는 사용자 구매 순서를 모델링한다.
• 단일 웹사이트의 구매 패턴에 의존하지 않고, 다양한 업체에서 구매한 제품들을 함께 고려한 교차 업체 추천을 가능하게 한다.
• 수백만 명의 사용자와 제품을 처리할 수 있고 저지연 예측이 가능한 실시간, 운영 가능한 시스템을 구현한다.
• 엄격한 오프라인 테스트와 온라인 A/B 버킷 테스트를 통해 추천 모델의 성능을 평가하고 검증한다.

제안 방법

• 사용자 구매 순서를 기반으로 저차원 실수형 임베딩을 학습하기 위해 신경어휘모델(prod2vec)을 활용한다.
• 2,900만 명이 넘는 사용자와 172개의 전자상거래 웹사이트를 포함한 대규모 데이터셋을 활용해, 사용자 구매 이력을 이벤트 시퀀스로 간주하여 모델을 훈련시킨다.
• 제품 임베딩을 의미적 그룹으로 클러스터링하여 전이 확률을 모델링함으로써 다음 제품 예측 성능을 향상시킨다.
• 5일 단위로 증분 업데이트를 수행하는 백드 프로덕션 모델을 사용하여 실시간에 가까운 관련성 유지.
• 저지연 사용자 및 제품 프로필 저장을 위해 Hadoop과 고유의 키-값 스토어를 활용한 다층 분산 아키텍처를 구현한다.
• 메일 상자 위의 '연필' 광고 위치에 추천을 배치하고, 사용자 상호작용 후 예측 점수를 감쇠시켜 동적으로 다시 렲시한다.

실험 결과

연구 질문

• RQ1 사용자 구매 순서를 기반으로 훈련된 신경어휘모델이 이메일 환경에서 개인화된 추천을 위해 제품 간 맥락적 관계를 효과적으로 포착할 수 있는가?
• RQ2 순서 기반 제품 임베딩 모델은 인기 기반 또는 공동 발생 기반 기준 대비 클릭률 및 전환율 측면에서 어떻게 성능을 내는가?
• RQ3 실시간 이메일 환경에서 모델 업데이트와 최신성 유지가 제품 추천 성능에 미치는 영향은 어느 정도인가?
• RQ4 예를 들어 V1 업체에서 X를, V2 업체에서 Y를 동시에 구매한 패턴처럼 교차 업체 구매 패턴을 효과적으로 활용해 추천의 관련성을 향상시킬 수 있는가?
• RQ5 사용자 맞춤형 개인화 추천과 일반적인 인기 제품 목록 간의 사용자 참여도에 어떤 영향을 미치는가?

주요 결과

• 제안된 신경어휘모델 기반 추천 시스템은 온라인 A/B 테스트에서 다른 광고 형식 대비 클릭률이 9% 향상되었다.
• 전환율 측면에서도 유사한 향상률을 보였으며, 이는 추천된 제품이 일반 광고나 인기 제품 광고보다 더 의미 있는 사용자 참여를 이끌어낸다는 것을 시사한다.
• 오프라인 테스트 결과, 모델이 인기 기반 및 공통 발생 기반 기준 대비 예측 정확도와 관련성 측면에서 뛰어난 성능을 보였다.
• 인기 제품 추천은 더 빨리 노후화되었으며, 시간이 지남에 따라 클릭률 감소 폭이 더 커져 새로운 것에 대한 편향과 장기적 효과 감소에 취약함을 보여주었다.
• 5일 단위로 모델을 업데이트하는 것만으로는 성능 유지가 어려웠으며, 7일 단위 업데이트 역시 여전히 부족함을 보여, 더 자주 재학습이 필요함을 시사했다.
• 시스템은 2,900만 명 이상의 사용자와 172개의 전자상거래 도메인으로 확장되었으며, 생산 환경에서 500ms 서비스 수준 합의(SLA)를 충족하는 저지연 예측을 달성했다.