[논문 리뷰] SIGIR 2021 E-Commerce Workshop Data Challenge

Jacopo Tagliabue, Ciro Greco외 5명|arXiv (Cornell University)|2021. 04. 19.

Recommender Systems and Techniques참고 문헌 33인용 수 12

한 줄 요약

이 논문은 중소 규모 전자상거래 플랫폼의 실시간 개인화를 향상시키기 위해 모델 효율성, 샘플 부족, 극심한 클래스 불균형에 중점을 두고, 57,000개의 제품을 포함해 총 1,000만 건의 상호작용을 가진 대규모 익명화된 세션 기반 전자상거래 데이터셋을 공개하는 SIGIR 2021 전자상거래 워크숍 데이터 챌린지를 소개한다. 이 데이터셋은 세션 기반 추천 및 초기 장바구니 포기 예측이라는 두 가지 실생활 과제를 제안한다.

ABSTRACT

The 2021 SIGIR workshop on eCommerce is hosting the Coveo Data Challenge for "In-session prediction for purchase intent and recommendations". The challenge addresses the growing need for reliable predictions within the boundaries of a shopping session, as customer intentions can be different depending on the occasion. The need for efficient procedures for personalization is even clearer if we consider the e-commerce landscape more broadly: outside of giant digital retailers, the constraints of the problem are stricter, due to smaller user bases and the realization that most users are not frequently returning customers. We release a new session-based dataset including more than 30M fine-grained browsing events (product detail, add, purchase), enriched by linguistic behavior (queries made by shoppers, with items clicked and items not clicked after the query) and catalog meta-data (images, text, pricing information). On this dataset, we ask participants to showcase innovative solutions for two open problems: a recommendation task (where a model is shown some events at the start of a session, and it is asked to predict future product interactions); an intent prediction task, where a model is shown a session containing an add-to-cart event, and it is asked to predict whether the item will be bought before the end of the session.

연구 동기 및 목표

• 중소 규모 전자상거래 플랫폼을 반영하는 실제적이고 익명화된 데이터셋을 공개하여 세션 기반 추천 및 의도 예측 모델의 실생활 적용성 격차를 해소한다.
• 비재귀 사용자와 높은 이탈률의 제약을 반영하여, 최소한의 데이터로 장바구니 포기 예측 및 다음 항목 추천에 대한 연구를 가능하게 한다.
• 샘플 효율성, 추론 속도, 클래스 불균형에 대한 강건성에 중점을 두고, 중소 규모 쇼핑몰 시나리오에서 평가함으로써 실용적이고 프로덕션 준비가 된 모델을 촉진한다.
• 합성 또는 비공개 데이터셋을 초월해, 짧은 세션, 낮은 사용자 재방문률, 동적인 사용자 의도와 같은 실제 산업 과제를 반영하는 벤치마크를 제공한다.
• 이론적 진전을 실제 비즈니스 영향과 연결하는 연구를 장려하기 위해, 핵심 사용자 여정 세그먼트에서 모델 행동의 정량적 및 정성적 분석을 수행한다.

제안 방법

• 400만 개의 세션에서 유입된 총 1,000만 건의 제품 상호작용을 포함한 세션 수준의 데이터셋을 공개하며, 브라우징 이벤트, 검색 쿼리, 장바구니 담기 행동을 포함하고, 모든 정보는 해시 및 타임스탬프 이동을 통해 익명화되었다.
• 두 가지 핵심 과제를 정의한다: (1) 이전 상호작용과 검색 쿼리를 기반으로 세션 내 다음 항목 추천; (2) 장바구니 담기 이벤트 이후 1~n건의 이벤트 이후에 평가되는 초기 장바구니 포기 예측.
• session_id_hash를 사용해 이벤트를 그룹화하고, 서버 타임스탬프(epoch ms)를 활용해 시간 순서를 재구성하나, 파일 순서가 비순차적임을 감안하여 처리한다.
• 제품 SKU 해시, 세션 ID 해시, URL을 해시 처리하고, 주 단위로 일정하지만 알려지지 않은 수치만큼 타임스탬프를 이동시켜 주간 패턴을 유지한다.
• 조기 예측(예: 장바구니 담기 후 10건의 이벤트 이후에 구매 결과를 예측)을 우선시하는 평가 프로토콜을 설계하고, 시간에 따른 모델의 예측 행동을 평가한다.
• 신규 제품, 희귀 제품, 검색 후 행동과 같은 데이터 슬라이스에서의 오류 분석을 포함한 제출을 장려하여 모델의 강건성과 실용적 관련성을 평가한다.

실험 결과

연구 질문

• RQ1 희귀하거나 신규 도입된 제품에 대해, 브라우징 및 검색 행동만을 사용해 세션 내 다음 상호작용을 얼마나 잘 예측할 수 있는가?
• RQ2 모델은 세션 내에서 얼마나 일찍 장바구니 포기를 예측할 수 있으며, 세션 길이와 장바구니 담기 이후 행동 수에 따라 성능은 어떻게 변하는가?
• RQ3 극심한 클래스 불균형(예: 80% 비구매 대비 20% 구매) 상황에서 모델 아키텍처와 학습 전략은 어떻게 성능을 발휘하는가? 이는 실제 전자상거래 전환 비율을 반영한다.
• RQ4 검색 쿼리, 콘텐츠 특징, 브라우징 패턴을 통합함으로써, 낮은 데이터 환경에서 세션 기반 개인화를 향상시키는 데 어떤 통찰을 얻을 수 있는가?
• RQ5 중소 규모 소매업체의 실세계 구현 시나리오에서 샘플 효율성, 추론 속도, 모델 안정성은 비즈니스 영향과 어떻게 상관관계가 있는가?

주요 결과

• 데이터셋은 57,000개의 고유 제품과 400만 개의 세션에서 총 1,000만 건의 상호작용을 포함하며, 익명화된 식별자와 타임스탬프 이동을 통해 주간 패턴을 유지한다.
• 장바구니 포기 과제는 장바구니 담기 이후 1~n건의 이벤트를 기준으로 다중 수평선에서 평가되며, 조기 예측에 중점을 두어 개입에 가장 높은 비즈니스 가치를 제공한다.
• 이 챌린지는 대부분의 사용자가 재방문하지 않으며 이탈률이 높은 상황에서 세션 내 사용자 의도 변화 모델링의 중요성을 부각한다.
• 기존 벤치마크는 낮은 사용자 재방문률과 극심한 클래스 불균형과 같은 실생활 제약을 반영하지 못하는 경우가 많지만, 이 챌린지는 이를 명시적으로 다룬다.
• 데이터셋은 신규 제품, 희귀 제품, 검색 후 행동과 같은 핵심 시나리오에서의 오류 분석을 가능하게 하여, 낮은 데이터 환경에서의 모델 한계를 드러낸다.
• 이 챌린지는 조기 예측 메트릭스(예: 얼마나 일찍이고 일관되게 결과를 예측하는지 측정)를 장려하며, 조기에 그리고 자신감 있게 행동할 수 있는 모델의 필요성을 강조한다.