[논문 리뷰] SHOPPER: A Probabilistic Model of Consumer Choice with Substitutes and Complements

Francisco J. R. Ruiz, Susan Athey외 1명|arXiv (Cornell University)|2017. 11. 09.

Consumer Market Behavior and Pricing인용 수 5

한 줄 요약

SHOPPER는 소비자 구매 동향을 학습된 잠재 항목 특성과 고객 선호도를 통해 상호 대체성과 보완재성을 모델링하는 순차적 확률 모델이다. 이는 대규모 과일 쇼핑 데이터에서 효율적인 변분 추론을 통해 가격 개입 상황에서의 구매 행동을 정확하게 예측하고, 보완재성 및 대체성 제품 조합을 식별할 수 있다.

ABSTRACT

We develop SHOPPER, a sequential probabilistic model of shopping data. SHOPPER uses interpretable components to model the forces that drive how a customer chooses products; in particular, we designed SHOPPER to capture how items interact with other items. We develop an efficient posterior inference algorithm to estimate these forces from large-scale data, and we analyze a large dataset from a major chain grocery store. We are interested in answering counterfactual queries about changes in prices. We found that SHOPPER provides accurate predictions even under price interventions, and that it helps identify complementary and substitutable pairs of products.

연구 동기 및 목표

• 쇼핑 바구니 내 제품 간 복잡한 상호작용을 포괄하는 확장성 있고 해석 가능한 소비자 선택 모델을 개발하는 것.
• 대규모 거래 데이터에서 관측되지 않는 소비자 행동의 원인 요인(예: 선호도, 가격 민감도, 계절 효과 등)을 추정하는 것.
• 가격 개입 상황에서의 수요 변화에 대한 정확한 반사적 예측을 가능하게 하는 것.
• 관측된 구매 패턴을 바탕으로 보완재성 및 대체성 제품 조합을 식별하는 것.
• 무작위로 배열된 고카디널리티의 쇼핑 바구니를 대규모로 처리할 수 있는 효율적인 추론 알고리즘 설계

제안 방법

• SHOPPER는 고객 선호도와 바구니 수준의 잠재 표현에 조건부된 로그-이차형 확률 모델을 사용하여 쇼핑 바구니 내 순차적 항목 선택을 모델링한다.
• 각 항목은 잠재 특성 벡터 $\alpha_c$와 상호작용 계수 $\rho_c$와 연결되며, 이는 항목 간 바구니 내 공존 패턴을 캡처한다.
• 고객 선호도 $\theta_u$는 특정 항목 유형에 대한 개인의 구매 경향을 반영하는 잠재 벡터로 모델링된다.
• 모델은 선택 확률 함수에 관측된 공변량으로서 가격 및 계절 효과를 통합한다.
• 모든 바구니 순서의 합이 계산이 불가능한 문제를 다루기 위해 부분 샘플링된 순열과 항목을 사용하여 비편향 변분 하한선(ELBO)을 유도한다.
• 최적화를 위한 기울기 계산을 효율적으로 수행하기 위해 알고리즘 2를 통해 바구니, 순열, 후보 항목을 부분 샘플링하는 확률적 기울기 추정 기법을 사용한다.

실험 결과

연구 질문

• RQ1 소비자 쇼핑 바구니 내 제품 간 복잡한 상호의존성, 즉 보완재성과 대체성을 어떻게 모델링할 수 있는가?
• RQ2 확률 모델이 반사적 가격 변화 상황에서 소비자 선택을 얼마나 정확하게 예측할 수 있는가?
• RQ3 대규모 무작위 쇼핑 데이터에서 잠재 특성과 고객 선호도를 효과적으로 학습할 수 있는가?
• RQ4 가격 및 계절 효과가 순차적 선택 프레임워크 내에서 항목 선택 확률에 어떻게 영향을 미치는가?
• RQ5 어떤 종류의 제품 조합이 가장 보완재성 또는 대체성일 가능성이 높은가? 이러한 조합은 데이터에서 신뢰성 있게 식별할 수 있는가?

주요 결과

• SHOPPER는 가격 개입 상황에서도 소비자 선택을 정확하게 예측하여 반사적 상황으로의 일반화 능력이 뛰어나다.
• 모델은 데이터 내 잠재 상호작용 패턴을 기반으로 의미 있는 보완재성 및 대체성 제품 조합을 성공적으로 식별한다.
• 부분 샘플링된 순열과 후보 항목의 사용 덕분에 고차원적 항목 공간을 가진 대규모 과일 쇼핑 데이터셋에서 효율적이고 확장 가능한 추론이 가능하다.
• 잠재 특성 $\alpha_c$와 고객 선호도 $\theta_u$는 아기 용품이나 강아지 사료와 같은 해석 가능한 패턴을 포착한다.
• 변분 하한선과 비편향 기울기 추정 덕분에 모든 가능한 바구니 순서의 합이 계산이 불가능한 문제에 대해 모델 성능이 안정적이다.
• 확률적 최적화 기반의 추론 절차는 수천 명의 고객과 수만 개의 항목을 포함한 데이터셋에 효과적으로 스케일링된다.