[논문 리뷰] Personalized Embedding-based e-Commerce Recommendations at eBay

Tian Wang, Yuri M. Brovman외 1명|arXiv (Cornell University)|2021. 02. 11.

Recommender Systems and Techniques참고 문헌 28인용 수 9

한 줄 요약

이 논문은 콘텐츠 기반 특징과 다중 모odal 온사이트 행동(예: 클릭, 검색)을 사용하여 공유 벡터 공간에서 개인화된 사용자 및 항목 임베딩을 학습하는 이타워 딥러닝 모델을 제안한다. 이는 전자상거래에서의 쿨스타트 문제와 데이터 희소성 문제를 해결하기 위한 것이다. 이 방법은 A/B 테스트에서 생산 환경의 RVI 기반 기준 대비 추천 표면율을 약 6% 향상시키며, 리스트 페이지 인상의 90%에 대해 커버리지가 가능해졌다.

ABSTRACT

Recommender systems are an essential component of e-commerce marketplaces, helping consumers navigate massive amounts of inventory and find what they need or love. In this paper, we present an approach for generating personalized item recommendations in an e-commerce marketplace by learning to embed items and users in the same vector space. In order to alleviate the considerable cold-start problem present in large marketplaces, item and user embeddings are computed using content features and multi-modal onsite user activity respectively. Data ablation is incorporated into the offline model training process to improve the robustness of the production system. In offline evaluation using a dataset collected from eBay traffic, our approach was able to improve the Recall@k metric over the Recently-Viewed-Item (RVI) method. This approach to generating personalized recommendations has been launched to serve production traffic, and the corresponding scalable engineering architecture is also presented. Initial A/B test results show that compared to the current personalized recommendation module in production, the proposed method increases the surface rate by $\sim$6\% to generate recommendations for 90\% of listing page impressions.

연구 동기 및 목표

• 희소한 사용자-항목 상호작용을 가진 대규모 전자상거래 마켓플레이스에서 쿨스타트 문제를 해결한다.
• 특히 홈페이지 및 리스트 페이지 외부에서 시드-아이템 기반 방법을 초월해 추천 커버리지와 개인화 수준을 향상시킨다.
• 오프라인 학습 중 데이터 아블레이션을 통한 데이터 결손 시뮬레이션을 통해 실사용 환경에서의 데이터 희소성과 모델 불안정성을 완화한다.
• eBay 플랫폼에서 산업 규모로 딥러닝 임베딩을 구현하기 위한 확장성 있고 저지연 시간을 갖춘 엔지니어링 아키텍처를 개발한다.
• 클러스터 기반 KNN과 다중 모달 사용자 신호 통합을 통해 모델의 강건성과 다양성을 향상시킨다.

제안 방법

• 항목 콘텐츠 기반 특징과 다중 모달 사용자 활동(클릭, 검색)을 사용하여 공유 벡터 공간에서 사용자 및 항목을 임베딩하는 이타워 딥 네트워크를 학습한다.
• 신규 또는 수량이 하나뿐인 항목의 쿨스타트 문제를 완화하기 위해 항목 기반 임베딩을 활용한다.
• 항목 조회 및 검색 쿼리와 같은 다양한 암시적 신호를 사용자 임베딩에 통합하여 동적인 쇼핑 미션을 포착한다.
• 오프라인 학습 중에 데이터 아블레이션을 적용하여 누락된 사용자 데이터를 시뮬레이션하고 실사용 환경에서의 모델 강건성을 향상시킨다.
• 효율적인 검색을 위해 클러스터 기반 KNN을 사용하여 후보 추천의 다양성을 향상시킨다.
• 실시간 추론과 선택적 LTR 랭킹을 지원하는 저지연 시간, JVM 기반 캐싱 아키텍처를 통해 모델을 구현한다.

실험 결과

연구 질문

• RQ1 대규모 전자상거래 환경에서 콘텐츠 기반 항목 임베딩이 쿨스타트 문제를 효과적으로 완화할 수 있는가?
• RQ2 클릭, 검색과 같은 다중 모달 사용자 신호를 통합할 경우, 단순 조회 기반 신호를 초월해 개인화 수준이 어떻게 향상되는가?
• RQ3 학습 중 데이터 아블레이션을 적용할 경우, 누락되거나 노이즈가 많은 사용자 데이터를 가진 실사용 환경에서 모델 강건성이 얼마나 향상되는가?
• RQ4 확장성 있고 저지연 시간을 갖춘 임베딩 기반 시스템이 기존의 RVI 기반 방법보다 더 높은 추천 표면율을 달성할 수 있는가?
• RQ5 어떤 엔지니어링 아키텍처가 eBay의 규모에서 효율적이고 실시간으로 딥러닝 임베딩을 추론할 수 있게 하는가?

주요 결과

• 제안된 방법은 생산 환경의 RVI 기반 시스템 대비 표면율을 약 6% 향상시켰으며, 리스트 페이지 인상의 90%에 대해 추천이 가능하게 되었다.
• 오프라인 평가에서 모델은 RVI 기준보다 우수한 성능을 보였으며, eBay의 실제 트래픽 데이터셋을 사용한 Recall@k 측정치에서 개선된 결과를 보였다.
• 사용자 임베딩에 검색 및 클릭 행동을 통합함으로써 후보 집합이 크게 확장되었고, 특히 조회 이력이 적은 사용자에게서 커버리지가 향상되었다.
• 학습 중 데이터 아블레이션을 적용함으로써 실사용 환경에서의 모델 안정성과 성능이 향상되었으며, 특히 현실적인 데이터 희소성 상황에서 유의미한 개선이 있었다.
• 클러스터 기반 KNN 접근법을 통해 추천의 다양성이 향상되어 자주 조회되는 항목에 대한 과도한 의존도가 감소했다.
• 시스템은 성공적으로 생산 환경에 구현되어 5000만 명의 미국 사용자를 대상으로 서비스되고 있으며 글로벌 확장이 가능하며, 이벤트 스트림 처리와 실시간 KNN 서비스를 활용해 근접 실시간 업데이트를 계획 중이다.