[논문 리뷰] Representing Random Utility Choice Models with Neural Networks

Ali Aouad, Antoine Désir|arXiv (Cornell University)|2022. 07. 26.

Economic and Environmental Valuation인용 수 8

한 줄 요약

이 논문은 랜덤 유용성 최대화(RUM) 이산 선택 모델을 유용성 함수의 표본 평균 근사(SAA)를 사용하여 근사하는 신경망 아키텍처인 RUMnets를 소개한다. RUMnets는 모든 RUM 모델을 엄밀히 근사하며, 실제 데이터셋에서 경쟁적인 예측 정확도를 달성하고, 예측 불가능한 데이터로의 일반화 능력이 뛰어나, 모델에 종속되지 않은 방법보다 확장성과 해석 가능성 면에서 뛰어나다.

ABSTRACT

Motivated by the successes of deep learning, we propose a class of neural network-based discrete choice models, called RUMnets, inspired by the random utility maximization (RUM) framework. This model formulates the agents' random utility function using a sample average approximation. We show that RUMnets sharply approximate the class of RUM discrete choice models: any model derived from random utility maximization has choice probabilities that can be approximated arbitrarily closely by a RUMnet. Reciprocally, any RUMnet is consistent with the RUM principle. We derive an upper bound on the generalization error of RUMnets fitted on choice data, and gain theoretical insights on their ability to predict choices on new, unseen data depending on critical parameters of the dataset and architecture. By leveraging open-source libraries for neural networks, we find that RUMnets are competitive against several choice modeling and machine learning methods in terms of predictive accuracy on two real-world datasets.

연구 동기 및 목표

• 랜덤 유용성 최대화(RUM)의 이론적 구조를 유지하는 신경망 기반 이산 선택 모델을 개발하는 것.
• 딥 러닝 프레임워크와 오픈소스 라이브러리를 활용해 RUM 모델을 효율적으로 추정할 수 있도록 하는 것.
• 선택 데이터를 기반으로 훈련된 RUMnets에 대한 일반화 오차 이론적 보장을 수립하는 것.
• 고차원 입력과 큰 제품 조합 조건에서 RUMnets가 모델에 종속되지 않은 기계학습 방법보다 예측 정확도와 확장성 면에서 뛰어나다는 것을 입증하는 것.

제안 방법

• RUMnets는 잠재 유용성의 표본 평균 근사(SAA)를 사용하여 랜덤 유용성 함수를 모델링하여, 신경망이 데이터로부터 복잡한 비선형 유용성 구조를 학습할 수 있도록 한다.
• 아키텍처는 선택 확률이 임의의 RUM 이산 선택 모델을 임의로 정밀하게 근사할 수 있고, 반대로 모든 RUMnet 선택 확률 분포도 RUM 원칙에 부합함을 보장하여 RUM 클래스 내 이론적 보편성을 확보한다.
• 표준 딥 러닝 최적화 도구를 활용해 최대우도추정법을 통해 훈련되며, 자동 미분과 역전파를 이용한다.
• 일반화 오차에 대한 이론적 상한선을 유도하여, 데이터셋 및 아키텍처 파라미터에 의존하지만, SAA 표본 수에 따라 증가하지 않는다는 것을 보여준다.
• 설명 가능성과 치환 패턴의 시각화를 위해 소비자 특성에 대해 클러스터링(예: K-means)을 적용하여 대표 소비자 유형을 정의한다.
• 실증 평가에서는 실제 데이터셋(예: 스위스메트로)을 사용하며, 분류 기반 설정에서 RUMnets를 MNL, 잠재클래스 MNL, 랜덤 포레스트, 딥 네트워크와 비교한다.

실험 결과

연구 질문

• RQ1 신경망 아키텍처가 임의의 정밀도로 모든 RUM 이산 선택 모델을 근사할 수 있는가?
• RQ2 RUMnets의 일반화 오차는 데이터셋 크기, 제품 조합의 기수, 네트워크 깊이에 따라 어떻게 변화하는가?
• RQ3 고차원 선택 데이터에서 RUMnets는 모델에 종속되지 않은 기계학습 방법보다 더 나은 일반화 및 해석 가능성 성능을 유지하는가?
• RQ4 RUMnets는 다양한 소비자 유형 간에 실제적인 치환 패턴(예: 가격 민감도)을 효과적으로 포착할 수 있는가?
• RQ5 예측 정확도와 내구성 면에서 RUMnets는 전통적인 파rametric 모델과 엔드 투 엔드 딥 러닝 분류기보다 어떻게 비교되는가?

주요 결과

• RUMnets는 임의의 RUM 이산 선택 모델을 임의의 정밀도로 근사할 수 있으며, 반대로 모든 RUMnet 선택 확률 분포도 RUM 원칙에 부합한다.
• RUMnets의 일반화 오차는 유한하며, SAA 표본 수에 따라 증가하지 않아, 다양한 표본 복잡도 조건에서도 안정적인 학습을 보여준다.
• 스위스메트로 데이터셋에서 RUMnets는 제품 수(P)가 증가함에 따라 실제 모델에 가까운 예측 성능을 유지하지만, 랜덤 포레스트는 성능이 저하되어 무작위 추측에 가까워진다.
• RUMnets는 입력 차원과 제품 조합 크기가 증가함에 따라 일관된 성능을 유지하지만, 모델에 종속되지 않은 방법(예: 랜덤 포레스트)은 고차원 입력 조건에서 일반화 성능이 떨어진다.
• RUMnet 예측의 시각화 결과는 소비자 유형 간에 실제적이고 해석 가능한 치환 패턴(예: 가격 민감도, 교통수 Mittel의 전환)을 보여주며, 반면 랜덤 포레스트는 가격 변화에 대해 비직관적이고 비단조선적인 반응을 보일 수 있다.
• RUMnet 아키텍처는 비교적 적은 표본 수로도 압축된 SAA 근사를 가능하게 하여, 대규모 응용에 대한 계산 효율성과 확장성을 시사한다.