[논문 리뷰] Studying Product Competition Using Representation Learning

Fanglin Chen, Xiao Liu외 3명|arXiv (Cornell University)|2020. 05. 21.

Consumer Market Behavior and Pricing참고 문헌 15인용 수 6

한 줄 요약

이 논문은 Word2Vec 기반의 표현 학습 방법인 Product2Vec을 소개한다. 이 방법은 쇼핑 카트 데이터로부터 저차원의 제품 임베딩을 생성하여 제품 수준의 경쟁을 모델링한다. 가격 영향을 제거하고 경제학 이론을 통합함으로써, 기존의 최첨단 모델보다 빠르고 정확하게 수요와 가격 수요 민감도를 예측할 수 있다. 이는 보조 제품과 대체 제품을 구분할 수 있도록 한다.

ABSTRACT

Studying competition and market structure at the product level instead of brand level can provide firms with insights on cannibalization and product line optimization. However, it is computationally challenging to analyze product-level competition for the millions of products available on e-commerce platforms. We introduce Product2Vec, a method based on the representation learning algorithm Word2Vec, to study product-level competition, when the number of products is large. The proposed model takes shopping baskets as inputs and, for every product, generates a low-dimensional embedding that preserves important product information. In order for the product embeddings to be useful for firm strategic decision making, we leverage economic theories and causal inference to propose two modifications to Word2Vec. First of all, we create two measures, complementarity and exchangeability, that allow us to determine whether product pairs are complements or substitutes. Second, we combine these vectors with random utility-based choice models to forecast demand. To accurately estimate price elasticities, i.e., how demand responds to changes in price, we modify Word2Vec by removing the influence of price from the product vectors. We show that, compared with state-of-the-art models, our approach is faster, and can produce more accurate demand forecasts and price elasticities.

연구 동기 및 목표

• 전자상거래 플랫폼에서 수백만 개의 제품에 걸쳐 제품 수준의 경쟁을 분석하는 데 발생하는 계산적 과제를 해결하기 위해.
• 사람의 입력이나 사전에 정의된 시장 세분화 없이도 브랜드 간 및 브랜드 내 경쟁 관계를 자동으로 식별할 수 있는 확장 가능한 자동화된 방법을 개발하기 위해.
• 경제학 이론을 표현 학습에 통합하여 수요 예측 및 가격 수요 민감도 추정을 향상시키기 위해.
• 학습된 임베딩을 활용해 제품의 보조품과 대체품을 구분함으로써 전략적 제품 라인 최적화를 가능하게 하기 위해.
• 기존 모델들과 비교해 예측 정확도를 유지하거나 향상시키면서도 계산 부담을 줄이기 위해.

제안 방법

• 이 방법은 쇼핑 카트를 문장으로, 제품을 단어로 간주하여 Word2Vec을 수정함으로써 공존 패턴을 유지하는 저차원 임베딩을 생성한다.
• 벡터 유사도에서 유도된 두 가지 지표인 보완성(complementarity)과 교환 가능성(exchangeability)을 도입하여 제품 쌍을 보조품 또는 대체품으로 분류한다.
• 가격 수요 민감도를 정확하게 추정하기 위해, 가격 내재성 문제를 해결하기 위해 제어 기능 접근법을 사용해 제품 임베딩에서 가격 영향을 제거한다.
• 소비자 선택을 예측하기 위해 임베딩을 무작위 유틸리티 기반 선택 모델과 조합한다. 이는 예측 속도와 정확도를 향상시킨다.
• 이 방법은 대규모 카트 데이터로 훈련되며, GPU에 의존하는 대안들과는 달리 표준 하드웨어에서도 효율적으로 작동한다.
• SHOPPER와 같은 최첨단 모델과의 비교를 통해 검증되었으며, 검증은 검증 집합의 정확도 및 가격 수요 민감도 추정치를 기준으로 이루어졌다.

실험 결과

연구 질문

• RQ1 수백만 개의 제품에 걸쳐 대규모로 제품 수준의 경쟁을 모델링하기 위해 표현 학습을 어떻게 적응시킬 수 있는가?
• RQ2 쇼핑 카트에서 유도된 제품 임베딩이 보조품과 대체품을 효과적으로 구분할 수 있는가?
• RQ3 임베딩 기반 모델이 기존의 固定효과 또는 특성 기반 모델과 비교해 수요 예측의 정확도와 속도를 얼마나 향상시킬 수 있는가?
• RQ4 제품 임베딩에서 가격 영향을 제거하면 가격 수요 민감도 추정에 어떤 영향을 미치는가?
• RQ5 최근의 대규모 선택 모델인 SHOPPER와 비교했을 때, 제안된 방법은 성능과 효율성 면에서 어떻게 비교되는가?

주요 결과

• Product2Vec 모델은 제품 固定효과 또는 관측 가능한 특성을 갖는 전통적 선택 모델 대비 훈련 시간을 94% 감소시켰다.
• 소비자 선택 예측 시 검증 집합의 정확도는 14.2%에서 14.8%로 4% 향상되었다.
• SHOPPER 모델과 비교했을 때, 20차원 벡터를 사용한 검증 집합 정확도는 Product2Vec이 14.1%로 SHOPPER의 12.8%를 상회했다.
• 제품 임베딩에서 가격 영향을 제거함으로써 추정된 가격 수요 민감도 계수는 Product2Vec이 −3.166으로 SHOPPER의 −1.701보다 유의미하게 높았다. 이는 가격 내재성 문제를 더 잘 다루고 있음을 시사한다.
• 보완성 및 교환 가능성 측정치는 상위 3개의 보조품 및 대체품을 성공적으로 식별하여 경제학적으로 해석 가능한 결과를 도출했다.
• 이 방법은 매우 확장 가능하며, GPU에 의존하는 모델들(예: SHOPPER)과 달리 표준 개인용 컴퓨터에서도 효율적으로 작동한다.