[논문 리뷰] Variational Bayesian Inference for Mixed Logit Models with Unobserved Inter- and Intra-Individual Heterogeneity

Rico Krueger, Prateek Bansal외 3명|arXiv (Cornell University)|2019. 05. 01.

Economic and Environmental Valuation참고 문헌 49인용 수 7

한 줄 요약

이 논문은 개인 간 및 개인 내 기호의 이질성을 모두 고려하는 혼합 로짓 모델에 대한 변분 베이지안(VB) 추론 방법을 제안한다. 퀀텀 몬테카를로 통합과 퀀텀-뉴턴 최적화를 조합함으로써, 이 방법은 빠르고 확장 가능하며 정확한 사후 분포 추정을 달성한다. 이는 최대 시뮬레이션 우도(MSL)와 MCMC보다 계산 속도가 2.8배에서 17.7배 빠르며, 예측 정확도는 유사하거나 더 뛰어나다.

ABSTRACT

Variational Bayes (VB), a method originating from machine learning, enables fast and scalable estimation of complex probabilistic models. Thus far, applications of VB in discrete choice analysis have been limited to mixed logit models with unobserved inter-individual taste heterogeneity. However, such a model formulation may be too restrictive in panel data settings, since tastes may vary both between individuals as well as across choice tasks encountered by the same individual. In this paper, we derive a VB method for posterior inference in mixed logit models with unobserved inter- and intra-individual heterogeneity. In a simulation study, we benchmark the performance of the proposed VB method against maximum simulated likelihood (MSL) and Markov chain Monte Carlo (MCMC) methods in terms of parameter recovery, predictive accuracy and computational efficiency. The simulation study shows that VB can be a fast, scalable and accurate alternative to MSL and MCMC estimation, especially in applications in which fast predictions are paramount. VB is observed to be between 2.8 and 17.7 times faster than the two competing methods, while affording comparable or superior accuracy. Besides, the simulation study demonstrates that a parallelised implementation of the MSL estimator with analytical gradients is a viable alternative to MCMC in terms of both estimation accuracy and computational efficiency, as the MSL estimator is observed to be between 0.9 and 2.1 times faster than MCMC.

연구 동기 및 목표

• 기존의 베이지안 방법이 개인 간 이질성만 고려하는 데에 한계가 있다는 점을 해결하기 위해, 특히 개인 내 변동이 흔한 패널 데이터 설정에서의 적용을 목표로 한다.
• 개인 간 및 개인 내 이질성을 모두 고려하는 혼합 로짓 모델에서 사후 추론을 위한 확장 가능하고 계산적으로 효율적인 변분 베이지안(VB) 방법을 개발한다.
• 제안된 VB 방법이 최대 시뮬레이션 우도(MSL) 및 마르코프 체인 몬테카를로(MCMC)와 비교하여 매개변수 복원, 예측 정확도, 계산 효율성 측면에서 어떻게 성능을 발휘하는지 평가한다.
• 분석적 기울기를 갖춘 병렬 처리된 MSL가 MCMC에 비해 속도와 정확도 측면에서 실용적인 대안이 될 수 있는지 탐색한다.
• 향후 연구 방향으로 하이브리드 MCMC-VB 프레임워크, MACML 추정기와의 비교, 개인 맞춤 추천을 위한 필터링 기법 통합을 규명한다.

제안 방법

• 이 방법은 개인 간 및 개인 내 이질성을 위한 계층적 랜덤 매개변수를 갖는 혼합 로짓 모델에서의 추정이 불가능한 사후 분포를 변분 베이지안을 통해 근사한다.
• 로그-합-지수 항을 효율적으로 근사하기 위해 퀀텀 몬테카를로(QMC) 통합을 사용하여 몬테카를로 오차를 감소시킨다.
• 변분 분포는 유틸리티 매개변수에 대해 분해되며, 진짜 사후 분포로부터의 쿨백-라이블러 발산을 최소화하기 위해 퀀텀-뉴턴 최적화를 통해 매개변수를 갱신한다.
• 개인별 기호 매개변수를 그룹 수준 평균 주위의 변형으로 모델링함으로써, 개인 간 및 개인 내 분산 성분을 동시에 추정할 수 있다.
• 이 방법은 가능하면 가능할수록 가능성이 높은 계산을 통해 확장성을 향상시킨다.
• 이 프레임워크는 전체 공분산 구조와 구조화된 사전 분포를 모두 지원하여 이질성을 영리하게 모델링할 수 있다.

실험 결과

연구 질문

• RQ1 변분 베이지안이 개인 간 및 개인 내 이질성을 모두 고려하는 혼합 로짓 모델에서 MSL 및 MCMC에 비해 빠르고 확장 가능하며 정확한 대안이 될 수 있는가?
• RQ2 다양한 데이터 구성에서 제안된 VB 방법의 성능이 MSL 및 MCMC와 비교해 매개변수 복원 및 예측 정확도 측면에서 어떻게 나타나는가?
• RQ3 분석적 기울기를 갖춘 병렬 처리된 MSL가 MCMC에 비해 계산 효율성과 추정 정확도 측면에서 어느 정도 뛰어나게 되는가?
• RQ4 개인 간 및 개인 내 이질성을 모두 고려할 경우, 뿐만 아니라 개인 간 이질성만 고려하는 모델에 비해 개인 내 예측 정확도가 유의미하게 향상되는가?
• RQ5 필터링 기법, 하이브리드 MCMC-VB 프레임워크, 또는 MACML 추정기의 이산 선택 모델링에 통합하는 데 있어 잠재적인 향후 연구 방향은 무엇인가?

주요 결과

• 제안된 VB 방법은 모든 시뮬레이션 시나리오에서 MSL 및 MCMC보다 2.8배에서 17.7배 빠르며, 특히 대규모 데이터셋에서 가장 높은 속도 향상을 보였다.
• VB는 MSL 및 MCMC와 비교해 유사하거나 더 뛰어난 매개변수 복원 능력과 외부 샘플 예측 정확도를 확보했으며, 특히 고상관도 상황에서 유리했다.
• 분석적 기울기를 갖춘 병렬 처리된 MSL 추정기는 MCMC보다 0.9배에서 2.1배 빠르며, 매개변수 복원 및 예측 정확도 측면에서 거의 동일한 성능을 보였다.
• 랜덤 매개변수 간 상관도가 높은 상황에서 VB는 추정치의 분산이 낮고 안정적인 성능을 유지했으며, 수렴 안정성 측면에서 MCMC를 능가했다.
• 개인 간 및 개인 내 이질성을 모두 포함하는 것이 뿐만 아니라 개인 간 이질성만 포함하는 모델에 비해 개인 내 예측 정확도 향상에 유의미한 이점이 없다는 것이 발견되었다.
• 결과적으로 VB는 계산 속도가 핵심이 되는 실시간 또는 대규모 이산 선택 모델링에 매우 실용적인 대안으로 제안된다.