[論文レビュー] Variational Bayesian Inference for Mixed Logit Models with Unobserved Inter- and Intra-Individual Heterogeneity

Rico Krueger, Prateek Bansal+3 more|arXiv (Cornell University)|May 1, 2019

Economic and Environmental Valuation参考文献 49被引用数 7

ひとこと要約

本稿では、観察されない個体間および個体内嗜好のばらつきを同時に考慮する混合ロジットモデルにおける変分ベイズ（VB）推論手法を提案する。準モンテカルロ積分と準ニュートン最適化を組み合わせることで、高速でスケーラブルかつ高精度な事後分布推定を実現し、最大シミュレーテッド尤度（MSL）およびMCMCを2.8〜17.7倍高速に処理しながら、同等または優れた予測精度を維持する。

ABSTRACT

Variational Bayes (VB), a method originating from machine learning, enables fast and scalable estimation of complex probabilistic models. Thus far, applications of VB in discrete choice analysis have been limited to mixed logit models with unobserved inter-individual taste heterogeneity. However, such a model formulation may be too restrictive in panel data settings, since tastes may vary both between individuals as well as across choice tasks encountered by the same individual. In this paper, we derive a VB method for posterior inference in mixed logit models with unobserved inter- and intra-individual heterogeneity. In a simulation study, we benchmark the performance of the proposed VB method against maximum simulated likelihood (MSL) and Markov chain Monte Carlo (MCMC) methods in terms of parameter recovery, predictive accuracy and computational efficiency. The simulation study shows that VB can be a fast, scalable and accurate alternative to MSL and MCMC estimation, especially in applications in which fast predictions are paramount. VB is observed to be between 2.8 and 17.7 times faster than the two competing methods, while affording comparable or superior accuracy. Besides, the simulation study demonstrates that a parallelised implementation of the MSL estimator with analytical gradients is a viable alternative to MCMC in terms of both estimation accuracy and computational efficiency, as the MSL estimator is observed to be between 0.9 and 2.1 times faster than MCMC.

研究の動機と目的

• 既存のベイジアン手法が個体間ばらつきのみを考慮するという限界を是正すること。特に、個体内変動が一般的なパネルデータ設定において。
• 個観察されない個体間および個体内ばらつきを同時に考慮する混合ロジットモデルにおける、スケーラブルで計算効率の良い変分ベイズ（VB）推論手法の開発。
• 提案されたVB手法を、最大シミュレーテッド尤度（MSL）およびマルコフ連鎖モンテカルロ（MCMC）と比較して、パラメータ回復、予測精度、計算効率の観点から評価すること。
• 解析的勾配を用いた並列化されたMSLが、MCMCと比較して速度と精度の観点で実用的代替手段となり得るかを検討すること。
• 将来の研究方向として、ハイブリッドMCMC-VBフレームワーク、MACML推定器との比較、パーソナライズドレコメンデーションへのフィルタリング手法統合を同定すること。

提案手法

• 本手法は、個体間および個体内ばらつきを有する階層的ランダム係数を持つ混合ロジットモデルにおける、計算不能な事後分布を近似するために変分ベイズを採用する。
• 尤度関数に含まれる指数関数の和の対数（log-sum-of-exponentials）項の近似に、準モンテカルロ（QMC）積分を用い、モンテカルロ誤差を低減する。
• 変分分布は効用パラメータの上に分解され、真の事後分布からのKullback-Leibler（KL）発散を最小化するように、準ニュートン最適化によりパラメータを更新する。
• 個体固有の嗜好パラメータを集団レベルの平均値からの摂動としてモデル化することで、個体間および個体内分散成分を同時に推定可能となる。
• 尤度および勾配評価の並列化を実装し、スケーラビリティを向上させる。
• フレームワークは、フル共分散構造および構造的事前分布をサポートし、ばらつきを柔軟にモデル化可能である。

実験結果

リサーチクエスチョン

• RQ1 個体間および個体内ばらつきを同時に考慮する混合ロジットモデルにおいて、変分ベイズがMSLおよびMCMCの高速でスケーラブルかつ高精度な代替手段として機能するか。
• RQ2 異なるデータ設定下で、提案されたVB手法のパラメータ回復および予測精度は、MSLおよびMCMCと比較してどの程度優れているか。
• RQ3 解析的勾配を用いた並列化されたMSLは、計算効率および推定精度の観点でMCMCをどの程度上回るか。
• RQ4 個体間および個体内ばらつきの両方を考慮することで、個体内予測精度が、個体間ばらつきのみを考慮するモデルと比較して顕著に向上するか。
• RQ5 フィルタリング手法、ハイブリッドMCMC-VBフレームワーク、またはMACML推定器を離散選択モデルに統合するための将来の研究方向は何か。

主な発見

• 提案されたVB手法は、すべてのシミュレーション設定において、MSLおよびMCMCを2.8〜17.7倍高速に処理する。特に大規模データセットで最大の高速化が観察された。
• VBは、MSLおよびMCMCと同等または優れたパラメータ回復と、出先予測精度を達成しており、特に相関が高い状況で顕著に優位性を示す。
• 解析的勾配を用いた並列化されたMSL推定器は、MCMCよりも0.9〜2.1倍高速であり、パラメータ回復および予測精度の観点でもほぼ同等の性能を示した。
• ランダム係数間に高い相関がある状況では、VBは推定値の分散が低く安定した性能を維持し、収束安定性においてMCMCを上回った。
• 個体間および個体内ばらつきの両方を考慮しても、個体内予測精度に顕著な向上効果がないことが判明した。
• 結果から、計算速度が重要なリアルタイムまたは大規模な離散選択モデリングにおいて、VBは非常に実用的な代替手段であると示唆された。