[논문 리뷰] Early Bird Catches the Worm: Predicting Returns Even Before Purchase in Fashion E-commerce

Sajan Kedia, Manchit Madan외 1명|arXiv (Cornell University)|2019. 06. 28.

Consumer Market Behavior and Pricing참고 문헌 13인용 수 10

한 줄 요약

이 논문은 베이지안 개인화 순위(BPR) 임베딩, 스킵그램 기반 크기 벡터, 그리고 엔지니어링된 특징을 사용하여 쇼핑카트 및 제품 수준에서 실시간으로 패션 전자상거래 반품 확률을 예측하는 딥 뉴럴 네트워크 모델을 제안한다. 이 모델은 AUC 83.2%를 달성했으며, 개인화된 배송료, 반품 불가 제품 옵션, 그리고 미리 사용해보기 기능을 통해 실시간 실험을 통해 반품률을 최대 4%까지 감소시켰다.

ABSTRACT

With the rapid growth in fashion e-commerce and customer-friendly product return policies, the cost to handle returned products has become a significant challenge. E-tailers incur huge losses in terms of reverse logistics costs, liquidation cost due to damaged returns or fraudulent behavior. Accurate prediction of product returns prior to order placement can be critical for companies. It can facilitate e-tailers to take preemptive measures even before the order is placed, hence reducing overall returns. Furthermore, finding return probability for millions of customers at the cart page in real-time can be difficult. To address this problem we propose a novel approach based on Deep Neural Network. Users' taste & products' latent hidden features were captured using product embeddings based on Bayesian Personalized Ranking (BPR). Another set of embeddings was used which captured users' body shape and size by using skip-gram based model. The deep neural network incorporates these embeddings along with the engineered features to predict return probability. Using this return probability, several live experiments were conducted on one of the major fashion e-commerce platform in order to reduce overall returns.

연구 동기 및 목표

• 패션 전자상거래에서 높은 반품률로 인한 높은 비용과 비효율적인 반품 물류 문제를 해결하기 위해.
• 주문 배치 이전에 제품 반품 가능성 예측을 통해 반품을 줄이기 위한 사전 조치를 가능하게 하기 위해.
• 카트 및 개별 제품 수준에서 실시간으로 예측할 수 있는 확장 가능한 시스템을 개발하기 위해.
• 주요 패션 플랫폼에서 실시한 실시간 A/B 실험을 통해 반품 예측의 비즈니스 영향을 평가하기 위해.

제안 방법

• 사용자 선호도와 제품 유사성을 포착하기 위해 베이지안 개인화 순위(BPR)를 사용하여 제품 임베딩을 학습한다.
• 사용자 크기 및 피팅 데이터를 기반으로 훈련된 스킵그램 모델을 사용하여 사용자별 크기 벡터를 생성한다.
• BPR 제품 임베딩, 크기 벡터, 그리고 엔지니어링된 특징(예: 카트 크기, 결제 방식, 반품 이력 등)을 결합하여 딥 뉴럴 네트워크의 입력으로 사용한다.
• 하이브리드 이중 모델 아키텍처를 적용: 하나는 카트 수준의 반품 확률 예측을 위해, 다른 하나는 개별 제품 수준의 예측을 위해.
• 예측된 반품 확률을 기반으로 실시간 조치를 유도한다. 예를 들어 개인화된 배송료 부과, 반품 불가 제품 플래그 설정, 그리고 미리 사용해보기 옵션 제공.
• AUC, 정밀도, 재현율을 사용하여 모델을 훈련하고 평가하며, 특징 기여도 평가를 위해 아블레이션 연구를 실시한다.

실험 결과

연구 질문

• RQ1 사용자 및 제품 임베딩, 엔지니어링된 특징을 사용하여, 주문 이전에 반품 확률을 정확하게 예측할 수 있는가?
• RQ2 딥 뉴럴 네트워크 모델이 실시간으로 카트 수준과 제품 수준에서 반품 가능성 예측에 얼마나 효과적인가?
• RQ3 개인화된 배송료나 반품 불가 제품 옵션과 같은 사전 조치가 반품률 감소에 얼마나 기여하는가?
• RQ4 어떤 특징(예: 제품 반품 점수, 사용자 크기 벡터, 카트 크기 등)이 반품 예측 성능에 가장 크게 기여하는가?
• RQ5 실제 A/B 실험을 통해 반품 예측의 효과가 반품 물류 비용 감소 및 수익성 향상에 기여하는지 검증할 수 있는가?

주요 결과

• 딥 뉴럴 네트워크 모델은 AUC 83.2%를 달성하여, 그래디언트 부스팅 및 완전 연결 네트워크를 포함한 모든 베이스라인 모델을 능가했다.
• 스킵그램 기반 크기 벡터의 포함으로 정밀도가 2% 향상되었으며, 이는 해당 벡터가 없는 모델 대비 성능 향상을 보였다.
• 개인화된 배송료 실험은 주문량이 1.7% 감소했음에도 불구하고 반품률을 3% 감소시켰으며, 이 중 90%의 이탈 사용자들은 높은 반품 확률을 가진 것으로 확인되었다.
• 반품 불가 제품 실험은 사용자 27%의 참여율을 기록했으며, 카트당 평균 1.5개의 제품이 반품 불가로 표시되었고, 이로 인해 반품률이 4% 감소했다.
• 미리 사용해보기 실험은 40%의 참여율을 기록했으며, 제어군 대비 반품률이 3.7% 감소했다.
• 주요 예측 특징으로는 제품 반품 점수, 카트 크기, 결제 방식, 사용자 수명 주기 동안 반품된 수량, 사용자별 크기 벡터가 포함되었다.