[논문 리뷰] Deep Learning for Choice Modeling

Zhongze Cai, Hanzhao Wang외 2명|arXiv (Cornell University)|2022. 08. 19.

Economic and Environmental Valuation인용 수 6

한 줄 요약

이 논문은 신경망을 사용하여 내재된 유틸리티와 암시적 조합 효과를 동시에 포착하는, 기능 없음 및 기능 기반 설정 모두에 적용 가능한 딥러닝 기반 선택 모델을 제안한다. 제안된 Gated-Assort-Net 및 Res-Assort-Net 아키텍처는 전통적인 방법(예: MLE, EM, LP 기반 접근법)보다 더 뛰어난 샘플 및 계산 효율성을 확보하여, 복잡한 조합 의존성과 함께 실제 데이터를 처리하는 데서 선택 모델을 복원하는 데 성능이 뛰어나다.

ABSTRACT

Choice modeling has been a central topic in the study of individual preference or utility across many fields including economics, marketing, operations research, and psychology. While the vast majority of the literature on choice models has been devoted to the analytical properties that lead to managerial and policy-making insights, the existing methods to learn a choice model from empirical data are often either computationally intractable or sample inefficient. In this paper, we develop deep learning-based choice models under two settings of choice modeling: (i) feature-free and (ii) feature-based. Our model captures both the intrinsic utility for each candidate choice and the effect that the assortment has on the choice probability. Synthetic and real data experiments demonstrate the performances of proposed models in terms of the recovery of the existing choice models, sample complexity, assortment effect, architecture design, and model interpretation.

연구 동기 및 목표

• 기존 선택 모델 학습 방법의 한계를 해결하기 위해, 계산적으로 비가능하거나 샘플 효율성이 떨어지는 경우가 많은 문제를 다루기 위해.
• 개별 제품의 내재 유틸리티와 조합 구성이 선택 확률에 미치는 영향을 동시에 학습하는 딥러닝 모델을 개발하기 위해.
• 제품 또는 고객 기능이 없는 경우를 포함하여 기능 없음 및 기능 기반 설정 모두에서 효과적인 학습을 가능하게 하기 위해.
• 높은 예측 성능를 유지하면서 모델의 해석 가능성과 校정 성능를 향상시키기 위해.
• 단일 신경망 아키텍처가 MNL에서 복잡한 비모수적 및 마르코프 체인 모델에 이르기까지 다양한 선택 모델을 높은 정밀도로 복원할 수 있음을 보여주기 위해.

제안 방법

• 개별 제품 유틸리티와 조합 수준의 상호작용을 모두 모델링할 수 있도록 설계된 새로운 신경망 아키텍처 두 가지인 Gated-Assort-Net과 Res-Assort-Net을 제안한다.
• 입력 조합을 처리하고 비선형 유틸리티 상호작용을 포착할 수 있는 학습 가능한 변환을 적용하기 위해 완전 연결 층을 사용한다.
• 학습 안정성 향상과 조합 효과의 표현 학습 개선을 위해 게이팅 메커니즘과 잔차 연결을 통합한다.
• 다양한 조합 구성에 걸쳐 정확한 선택 확률 예측을 최적화하기 위해 엔트로피 손실을 사용하여 엔드 투 엔드 학습을 수행한다.
• 모델의 校정 성능 평가를 위해 적응형 바이닝과 ACE(Adaptive Expected Calibration Error)를 적용한다.
• 일반화 성능를 검증하기 위해 합성 데이터와 실제 데이터셋(예: SwissMetro, Expedia, 호텔 데이터)을 사용하여 기능 유무에 관계없이 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 단일 딥러닝 아키텍처가 단순한(예: MNL) 및 복잡한(예: MCCM, NP) 선택 모델을 효과적으로 복원할 수 있는가?
• RQ2 기존의 고전적 방법(MLE, EM, LP)과 비교할 때, 제안된 모델은 샘플 효율성과 계산 확장성 면에서 어떤가?
• RQ3 제품 또는 고객 기능에 의존하지 않고, 제공된 제품의 조합이 선택 확률에 미치는 영향을 얼마나 잘 포착할 수 있는가?
• RQ4 제한된 또는 기능이 없는 실제 데이터에 대해 모델의 일반화 성능는 어떠한가?
• RQ5 기존 접근법과 비교해 볼 때, 딥러닝 기반 선택 모델의 校정 성능는 어떠한가?

주요 결과

• Gated-Assort-Net(f) 및 Res-Assort-Net(f)는 합성 및 실제 데이터셋 모두에서 MLE, EM, LP 기반 방법보다 더 낮은 샘플 외 교차 엔트로피 손실을 기록한다.
• SwissMetro 및 Expedia 데이터셋에서 Gated-Assort-Net(f)는 각각 ACE 校정 오차 4.67×10⁻² 및 0.39를 기록하여 MNL(f)-MLE 및 기타 베이스라인을 능가한다.
• 기능 없는 호텔 데이터에서 Gated-Assort-Net 및 Res-Assort-Net은 더 큰 샘플 크기를 가진 Hotel 1 및 Hotel 3에서 MCCM-EM을 능가한다. 이는 신경망이 능력을 활용할 수 있도록 하는 조건을 만족하기 때문이다.
• 모델들은 뛀난 일반화 성능를 보이며, 단일 아키텍처로 MNL, MCCM, 비모수적 선택 모델을 고정밀도로 복원할 수 있다.
• 대부분의 데이터셋에서 ACE 오차가 0.5 이하로 유지되어 신뢰할 수 있는 확률 예측을 제공함을 시사한다.
• 샘플 크기가 작을 경우(예: Hotel 2, 4, 5), MNL-MLE나 MCCM-EM과 같은 간단한 모델이 더 바람직하다. 이는 딥러닝의 이점을 발휘하기 위해 충분한 데이터가 필요함을 시사한다.