[논문 리뷰] A Neural Network Based Choice Model for Assortment Optimization

Hanzhao Wang, Zhongze Cai외 2명|arXiv (Cornell University)|2023. 08. 10.

Supply Chain and Inventory ManagementBusiness, Management and Accounting인용 수 3

한 줄 요약

이 논문은 다양한 맥락에서 표준 모델과 다를 수 있는 행동을 보일 때조차도 고객의 구매 확률을 정확하게 예측할 수 있는 통합된 신경망 기반 선택 모델을 제안한다. 컴act한 아키텍처와 혼합정수계획법(MIP) 수식을 통합함으로써 효율적인 어셈블리 최적화를 가능하게 하며, 복잡하거나 비합리적인 선택 행동을 보일 때조차도 전통적 모델을 능가한다. 이는 데이터 이동에 강건하고 약 100개의 제품까지 확장 가능하다.

ABSTRACT

Discrete-choice models are used in economics, marketing and revenue management to predict customer purchase probabilities, say as a function of prices and other features of the offered assortment. While they have been shown to be expressive, capturing customer heterogeneity and behaviour, they are also hard to estimate, often based on many unobservables like utilities; and moreover, they still fail to capture many salient features of customer behaviour. A natural question then, given their success in other contexts, is if neural networks can eliminate the necessity of carefully building a context-dependent customer behaviour model and hand-coding and tuning the estimation. It is unclear however how one would incorporate assortment effects into such a neural network, and also how one would optimize the assortment with such a black-box generative model of choice probabilities. In this paper we investigate first whether a single neural network architecture can predict purchase probabilities for datasets from various contexts and generated under various models and assumptions. Next, we develop an assortment optimization formulation that is solvable by off-the-shelf integer programming solvers. We compare against a variety of benchmark discrete-choice models on simulated as well as real-world datasets, developing training tricks along the way to make the neural network prediction and subsequent optimization robust and comparable in performance to the alternates.

연구 동기 및 목표

• 다양한 산업과 데이터 맥락에서 다양한 고객 선택 행동을 모델링할 수 있는 단일 신경망 아키텍처를 개발하는 것.
• 선택 예측에 블랙박스 신경망을 사용할 때 어셈블리 최적화 문제를 해결하는 데 있어 계산의 타당성을 확보하는 도전 과제를 해결하는 것.
• 전문가 조정이 최소한이면서도 기존의 이산선택 모델을 능가하거나 보완할 수 있는 강건하고 보편적인 선택 모델을 만들기 위한 것.
• 실제로 복잡하고 비합리적인 행동을 보이는 데이터에서 모델의 성능을 평가하는 것.

제안 방법

• 모델은 어셈블리의 이진 표현을 사용하고, 피드포워드 신경망을 통해 선택 확률을 학습하며, 특징 기반 설정에서는 제품 및 고객 특징에 대해 별도의 특징 인코더를 사용한다.
• 어셈블리 최적화 문제를 해결하기 위해 혼합정수계획법(MIP) 수식을 개발하여 훈련된 신경망 기반으로 정확한 수익 극대화를 실현한다.
• 관측된 데이터로부터 선택 확률을 예측하기 위해 표준 백프로파게이션과 교차 엔트로피 손실 함수를 사용해 네트워크를 훈련시킨다.
• 신규한 훈련 전략인 '최고의 최고들 학습하기'는 벤치마크 세트에서 가장 성능이 좋은 전통적 모델을 선택하고, 그 모델에서 생성된 시뮬레이션 데이터를 기반으로 신경망을 재학습 및 미세조정하여 성능을 향상시킨다.
• 일반화 능력을 향상시키기 위해 데이터 증강 및 미세조정 기법을 통합하여, 특히 훈련 데이터가 제한된 경우에 유리하다.
• 모델은 다양한 선택 모델 유형(MNL, 마르코프 체인, 믹스드-로짓, 비모수적)과 실제 데이터(공개된 호텔 데이터셋 포함)를 기반으로 한 광범위한 시뮬레이션을 통해 평가된다.

실험 결과

연구 질문

• RQ1 사전에 기초가 되는 선택 메커니즘을 알지 못하는 상태에서, 단일 신경망 아키텍처가 MNL, 마르코프 체인, 믹스드-로짓 등 다양한 이산선택 모델을 효과적으로 복원하고 일반화할 수 있는가?
• RQ2 고객 행동이 합리적 유틸리티 극대화에서 벗어나는 경우, 신경망 기반 선택 모델이 전통적 모델에 비해 어셈블리 최적화에서 얼마나 잘 수행되는가?
• RQ3 어셈블리나 고객 행동의 분포 이동이 발생할 경우, 신경망 모델이 얼마나 강건하게 유지되는가?
• RQ4 신경망 모델이 하이브리드 훈련 및 선택 전략을 통해 존재하는 선택 모델을 능가하거나 보완하는 메타모델로 활용될 수 있는가?
• RQ5 제안된 MIP 기반 최적화 프레임워크의 확장성 한계는 무엇이며, 용량 제약 조건 하에서 히وري스틱 방법과 비교해 볼 때 어떤가?

주요 결과

• 충분한 데이터로 훈련된 경우, 단일 신경망 아키텍처는 MNL, 마르코프 체인, 믹스드-로짓 등 다양한 기존 선택 모델을 효과적으로 복원하고 일반화할 수 있다.
• 실제로 복잡하거나 비합리적인 행동을 보이는 경우, 시뮬레이션을 통해 신경망 선택 모델이 선택 확률 예측에서 전통적 모델을 크게 능가함을 입증하였다.
• 어셈블리의 분포 이동에 대해 강력한 내성성을 보이며, 훈련 데이터와 다를 수 있는 테스트 데이터에서도 높은 예측 정확도를 유지한다.
• MIP 기반 최적화 프레임워크를 통해 정확한 수익 극대화 어셈블리 선택이 가능하며, 이 모델과 함께 사용할 경우 히وري스틱 최적화 방법보다 특히 용량 제약 조건 하에서 뛰어난 성능을 보인다.
• 제안된 '최고의 최고들 학습하기' 훈련 전략은 가장 성능이 좋은 전통적 모델을 데이터 생성기로 활용하여 신경망의 사전학습 및 미세조정을 통해 성능 향상을 이룬다.
• MIP 수식 덕분에 약 100개의 제품까지 효과적으로 확장 가능하지만, 이 이상의 확장성은 향후 연구가 필요로 한다.