[논문 리뷰] The Use of Binary Choice Forests to Model and Estimate Discrete Choices

Ningyuan Chen, Guillermo Gallego외 1명|arXiv (Cornell University)|2019. 08. 03.

Consumer Market Behavior and Pricing인용 수 6

한 줄 요약

이 논문은 이진 선택 숲(binary choice forests)을 소개한다. 이는 해석 가능한 결정 트리를 사용하여 이산 선택 모델을 추정하는 기계학습 프레임워크로, 선택 확률의 일관된 예측과 복잡한 행동 패턴의 포착을 가능하게 한다. 시뮬레이션 및 실데이터에서 모형 오특사용 또는 데이터 집계 상황에서 기존의 파라미터 모형(MNL 및 선형 수요 모형)보다 랜덤 포레스트(random forests)가 뛰어난 성능을 보임을 입증한다.

ABSTRACT

Problem definition. In retailing, discrete choice models (DCMs) are commonly used to capture the choice behavior of customers when offered an assortment of products. When estimating DCMs using transaction data, flexible models (such as machine learning models or nonparametric models) are typically not interpretable and hard to estimate, while tractable models (such as the multinomial logit model) tend to misspecify the complex behavior represeted in the data. Methodology/results. In this study, we use a forest of binary decision trees to represent DCMs. This approach is based on random forests, a popular machine learning algorithm. The resulting model is interpretable: the decision trees can explain the decision-making process of customers during the purchase. We show that our approach can predict the choice probability of any DCM consistently and thus never suffers from misspecification. Moreover, our algorithm predicts assortments unseen in the training data. The mechanism and errors can be theoretically analyzed. We also prove that the random forest can recover preference rankings of customers thanks to the splitting criterion such as the Gini index and information gain ratio. Managerial implications. The framework has unique practical advantages. It can capture customers' behavioral patterns such as irrationality or sequential searches when purchasing a product. It handles nonstandard formats of training data that result from aggregation. It can measure product importance based on how frequently a random customer would make decisions depending on the presence of the product. It can also incorporate price information and customer features. Our numerical experiments using synthetic and real data show that using random forests to estimate customer choices can outperform existing methods.

연구 동기 및 목표

• 이산 선택 추정을 위한 데이터 기반 프레임워크를 개발하여 기계학습과 해석 가능한 모델을 융합한다.
• 선택 모델링에서 전통적 파라미터 모형(예: 모형 오특사용)의 한계와 블랙박스 기계학습(예: 해석 가능성 부족)의 문제를 해결한다.
• 예를 들어 집계된 판매 데이터와 같은 비표준 데이터 포맷에서도 선택 확률의 정확한 예측을 가능하게 한다.
• 고객 선호도, 제품 중요도, 의사결정 메커니즘에 대한 해석 가능한 통찰을 제공한다.
• 이론적 일관성과 예측 성능를 유지하면서 가격 및 고객 특성을 선택 모델링에 통합한다.

제안 방법

• 이진 선택 숲을 이진 결정 트리의 혼합으로 제안하며, 각 트리는 잠재 고객의 내부 의사결정 과정을 나타낸다.
• 고차원적이고 비선형적인 패턴을 다룰 수 있는 능력을 지닌 랜덤 포레스트(Breiman, 2001)를 사용하여 숲을 추정한다.
• 고객 선호도 순위와 이론적으로 연결된 분할 기준으로 지니 지수(Gini index)를 사용한다.
• 가격 정보를 모델에 통합하기 위해 링크 함수 $ g(x) = \exp(-x) $ 를 적용하여 가격 인식 가능한 선택 예측을 가능하게 한다.
• 특정 파라미터 형식을 가정하지 않고 데이터 기반 접근법을 사용하여 선택 확률을 추정함으로써, 비합리적 또는 순차적 탐색 행동을 포괄하는 데 유연성을 제공한다.
• 숲의 트리 분할을 기반으로 한 번 더 제품이 의사결정에 영향을 주는 빈도를 기반으로 한 제품 중요도 지수를 도입한다.

실험 결과

연구 질문

• RQ1 랜덤 포레스트는 이진 선택 숲을 통해 어떤 이산 선택 모델이라도 표본 크기가 증가함에 따라 일관되게 추정할 수 있는가?
• RQ2 데이터가 집계된 경우(특히 $ a = 50 $), 이진 선택 숲은 새로운 조합에 대해 얼마나 잘 일반화되는가?
• RQ3 랜덤 포레스트에서 사용하는 지니 지수 분할 기준과 고객 선호도 순위 사이의 이론적 연결 고리는 무엇인가?
• RQ4 가격 및 고객 특성을 포함할 경우 모델의 예측 성능는 어떻게 영향을 받는가?
• RQ5 숲에서 유도된 제품 중요도 지수는 수익 관리 및 조합 최적화에 실질적인 통찰을 제공할 수 있는가?

주요 결과

• 표본 크기가 증가함에 따라 랜덤 포레스트는 기저의 이산 선택 모델을 일관되게 복원하며, 선택 확률 추정의 이론적 일관성을 입증한다.
• 데이터가 집계된 경우(예: $ a = 50 $), 랜덤 포레스트는 MNL 및 마르코프 체인 모형을 능가하며, RMSE는 $ a=1 $일 때 0.038에서 $ a=50 $일 때 0.060으로 증가하지만, MNL 및 MC는 더 큰 성능 저하를 보인다.
• 가격 정보를 포함한 랜덤 포레스트는 MNL에 의해 생성된 데이터임에도 불구하고 $ T = 1500 $에서 RMSE 0.050 vs. 0.053, $ T = 5000 $에서 0.039 vs. 0.050으로 선형 수요 모형을 능가한다.
• 랜덤 포레스트에서 사용하는 지니 지수 분할 기준은 고객 선호도 순위를 효과적으로 복원하며, 트리 구축과 선택 행동 사이의 이론적 연결 고리를 확립한다.
• 이 프레임워크는 실무에서 흔한 집계된 판매 데이터와 같은 비표준 데이터 포맷을 해체 없이도 처리할 수 있다.
• 제품 중요도 지수(MDI)는 제품이 의사결정에 얼마나 자주 영향을 주는지 정량화하여, 선택 과정에서의 제품 영향력에 대한 데이터 기반 측정을 제공한다.