[논문 리뷰] A Neural-embedded Choice Model: TasteNet-MNL Modeling Taste Heterogeneity with Flexibility and Interpretability

Yafei Han, Francisco C. Pereira외 2명|arXiv (Cornell University)|2020. 02. 03.

Economic and Environmental Valuation인용 수 12

한 줄 요약

이 논문은 다중선택지 로짓(MNL) 프레임워크 내에서 개인 특성이 효용 매개변수에 어떻게 영향을 미치는지를 모델링함으로써 민감하고 해석 가능한 취향 이질성을 학습하는 데 깊이 있는 신경망(TasteNet)을 사용하는 신경망 통합 이산선택모델인 TasteNet-MNL을 제안한다. 이 모델은 합성 데이터와 실제 세계 데이터에서 최고 수준의 예측 정확도를 달성하면서도 개인 수준에서 진정한 시간가치와 탄력도 추정치를 회복하며, 기존의 표준 MNL 및 혼합 로짓 모델을 능가한다.

ABSTRACT

Discrete choice models (DCMs) require a priori knowledge of the utility functions, especially how tastes vary across individuals. Utility misspecification may lead to biased estimates, inaccurate interpretations and limited predictability. In this paper, we utilize a neural network to learn taste representation. Our formulation consists of two modules: a neural network (TasteNet) that learns taste parameters (e.g., time coefficient) as flexible functions of individual characteristics; and a multinomial logit (MNL) model with utility functions defined with expert knowledge. Taste parameters learned by the neural network are fed into the choice model and link the two modules. Our approach extends the L-MNL model (Sifringer et al., 2020) by allowing the neural network to learn the interactions between individual characteristics and alternative attributes. Moreover, we formalize and strengthen the interpretability condition - requiring realistic estimates of behavior indicators (e.g., value-of-time, elasticity) at the disaggregated level, which is crucial for a model to be suitable for scenario analysis and policy decisions. Through a unique network architecture and parameter transformation, we incorporate prior knowledge and guide the neural network to output realistic behavior indicators at the disaggregated level. We show that TasteNet-MNL reaches the ground-truth model's predictability and recovers the nonlinear taste functions on synthetic data. Its estimated value-of-time and choice elasticities at the individual level are close to the ground truth. On a publicly available Swissmetro dataset, TasteNet-MNL outperforms benchmarking MNLs and Mixed Logit model's predictability. It learns a broader spectrum of taste variations within the population and suggests a higher average value-of-time.

연구 동기 및 목표

• 이산선택모델(DCM)에서 효용 함수가 잘못 지정될 경우 발생하는 편향된 추정치와 낮은 예측 정확도 문제를 해결하기 위해.
• 기계학습 기반 DCM에서 실질적이고 개별 수준의 행동 지표(예: 시간가치, 탄력도)를 보장함으로써 해석 가능성 향상.
• 신경망의 예측 능력과 MNL 모델의 이론적 해석 가능성의 장점을 결합한 하이브리드 모델 개발.
• 사전에 지정된 함수 형태에 의존하지 않고 비선형 취향 이질성을 정확하게 모델링할 수 있도록 하기 위해.
• 이동 및 관련 분야에서 개인 수준의 선택 행동을 모델링하기 위한 확장 가능하고 일반화 가능한 프레임워크 제공.

제안 방법

• 두 모듈 아키텍처: 개인 특성에 따라 취향 매개변수의 민감하고 데이터 기반의 표현을 학습하는 신경망(TasteNet).
• TasteNet의 출력은 파rametric MNL 모델에 통합되며, 여기서 효용 함수는 전문 지식을 기반으로 정의되고 신경망 예측 결과가 취향의 변동성을 반영한다.
• 개별 수준에서 실질적인 행동 지표를 생성하도록 유도하기 위해 새로운 네트워크 아키텍처와 파rameter 변환 기법을 사용하여 해석 가능성 강화.
• 선택 데이터를 사용해 엔드 투 엔드로 훈련되며, 과적합 방지를 위한 정규화와 다수의 무작위 초기화를 통한 불확실성 정량화를 실시.
• 개별 수준에서 추정된 경제 지표(예: VOT, 탄력도)가 실질적인 범위 내에 유지되도록 요구함으로써 해석 가능성의 형식화 및 강화.
• 알려진 진정한 취향 함수가 있는 합성 데이터와 공개된 스위스메트로 데이터셋을 통해 검증.

실험 결과

연구 질문

• RQ1 신경망은 복잡한 비선형 취향 이질성을 학습하면서도 행동 지표의 해석 가능성은 유지할 수 있는가?
• RQ2 TasteNet-MNL의 예측 정확도와 행동 일관성 측면에서 기존의 MNL 및 혼합 로짓 모델과 비교해 성능은 어떠한가?
• RQ3 알려진 데이터 생성 과정이 있는 합성 데이터에서 TasteNet-MNL은 진정한 시간가치와 선택 탄력도 추정치를 어느 정도 회복할 수 있는가?
• RQ4 기준 MNL 모델에 비해 실제 세계 데이터에서 더 넓고 현실적인 취향 이질성을 발견할 수 있는가?
• RQ5 외부 분포 샘플에서 분포 이탈의 위험은 무엇이며, 추정치의 불확실성은 어떻게 정량화할 수 있는가?

주요 결과

• 합성 데이터에서 TasteNet-MNL는 진정한 모델과 동일한 예측 정확도를 달성하고 높은 정밀도로 진정한 비선형 취향 함수를 복원한다.
• TasteNet-MNL에서 추정한 개인 수준의 시간가치와 선택 탄력도는 진정한 값에 가깝지만, 잘못 지정된 효용 함수를 가진 MNL은 심각한 편향을 보인다.
• 스위스메트로 데이터셋에서 TasteNet-MNL는 기준 MNL 및 혼합 로짓 모델보다 예측 정확도가 높으며, 외부 표본의 우도가 더 높다.
• TasteNet-MNL는 평균 시간가치를 더 높게 추정하고, 소득 집단 간에 더 넓은 취향 이질성 스펙트럼을 포착한다.
• TasteNet-MNL에서 추정한 선택 탄력도는 합리적인 범위 내에 있으며, MNL-C보다 소득 집단 간에 더 세밀한 변동을 보여 더 높은 행동 현실성 향상을 보인다.
• TasteNet-MDL은 외부 분포 샘플에서 큰 추정 오차를 보이며, 불확실성 정량화와 기준 모델 대비 체계적 타당성 검증의 필요성을 강조한다.