[論文レビュー] A Neural-embedded Choice Model: TasteNet-MNL Modeling Taste Heterogeneity with Flexibility and Interpretability

Yafei Han, Francisco C. Pereira+2 more|arXiv (Cornell University)|Feb 3, 2020

Economic and Environmental Valuation被引用数 12

ひとこと要約

本稿では、個々の特徴が多項ロジット（MNL）フレームワーク内での効用パラメータに与える影響をモデル化することで、柔軟で解釈可能な好みの異質性を学習するための深層ニューラルネットワーク（TasteNet）を用いたニューラル埋め込み離散選択モデル、TasteNet-MNLを提案する。このモデルは、合成データおよび実世界のデータにおいて最先端の予測精度を達成するとともに、個々のレベルでの真値の時間価値および価格弾力率の推定を回復し、標準的なMNLおよびミックスド・ロジットモデルを上回る性能を示す。

ABSTRACT

Discrete choice models (DCMs) require a priori knowledge of the utility functions, especially how tastes vary across individuals. Utility misspecification may lead to biased estimates, inaccurate interpretations and limited predictability. In this paper, we utilize a neural network to learn taste representation. Our formulation consists of two modules: a neural network (TasteNet) that learns taste parameters (e.g., time coefficient) as flexible functions of individual characteristics; and a multinomial logit (MNL) model with utility functions defined with expert knowledge. Taste parameters learned by the neural network are fed into the choice model and link the two modules. Our approach extends the L-MNL model (Sifringer et al., 2020) by allowing the neural network to learn the interactions between individual characteristics and alternative attributes. Moreover, we formalize and strengthen the interpretability condition - requiring realistic estimates of behavior indicators (e.g., value-of-time, elasticity) at the disaggregated level, which is crucial for a model to be suitable for scenario analysis and policy decisions. Through a unique network architecture and parameter transformation, we incorporate prior knowledge and guide the neural network to output realistic behavior indicators at the disaggregated level. We show that TasteNet-MNL reaches the ground-truth model's predictability and recovers the nonlinear taste functions on synthetic data. Its estimated value-of-time and choice elasticities at the individual level are close to the ground truth. On a publicly available Swissmetro dataset, TasteNet-MNL outperforms benchmarking MNLs and Mixed Logit model's predictability. It learns a broader spectrum of taste variations within the population and suggests a higher average value-of-time.

研究の動機と目的

• 離散選択モデル（DCMs）における効用関数の誤指定が引き起こすバイアス推定および予測精度の低下という課題に対処すること。
• 機械学習ベースのDCMsにおける解釈性を高め、実際の個別レベルの行動指標（例：時間の価値、価格弾力率）を保証すること。
• ニューラルネットワークの予測力とMNLモデルの理論的解釈性を統合したハイブリッドモデルの開発。
• 事前に指定された関数形に依存せずに、非線形な好みの異質性を正確にモデル化すること。
• 交通分野および関連分野における個別レベルの選択行動をモデル化するスケーラブルで一般化可能なフレームワークの提供。

提案手法

• 2モジュール構造：ニューラルネットワーク（TasteNet）が、個人の特徴を関数として用いて柔軟でデータ駆動型の好みパラメータ表現を学習する。
• TasteNetの出力がパラメトリックなMNLモデルに埋め込まれ、効用関数は専門知識を用いて定義され、ニューラルネットの予測が好みの変動を決定づける。
• 個別レベルでの現実的で解釈可能な行動指標（例：VOT、弾力率）を生成するようネットワークを誘導するための、解釈性を強化する新しいネットワークアーキテクチャとパラメータ変換を採用。
• 選択データを用いてエンドツーエンドで訓練され、過学習を防ぐための正則化と、複数回のランダム初期化による不確実性の定量化が行われる。
• 推定された経済指標（例：VOT、弾力率）が個別レベルで現実的な範囲内に収まるように要件を課すことにより、解釈性を形式的かつ強化する。
• 真値の好み関数が既知の合成データおよび公的であるスイスメトロデータセットを用いて、手法の妥当性を検証。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、行動指標の解釈性を保持したまま、離散選択モデルにおける複雑で非線形な好みの異質性を学習できるか？
• RQ2 予測精度および行動的一貫性の観点から、TasteNet-MNLは従来のMNLおよびミックスド・ロジットモデルに比べてどの程度優れているか？
• RQ3 真値の時間価値および選択弾力率を、既知のデータ生成プロセスを持つ合成データ上でTasteNet-MNLがどの程度正確に回復できるか？
• RQ4 標準的なMNLモデルと比較して、TasteNet-MNLは実世界のデータにおいてより広範かつ現実的な好みの変動を発見できるか？
• RQ5 分布外のサンプルにおける分布シフトのリスクは何か？ また、推定値の不確実性はどのように定量化できるか？

主な発見

• 合成データでは、TasteNet-MNLは真値モデルと同等の予測精度を達成し、真の非線形好み関数を高い忠実度で回復した。
• TasteNet-MNLが推定した個別レベルの時間価値および選択弾力率は真値に近く、効用関数が誤って指定されたMNLでは顕著なバイアスが見られた。
• スイスメトロデータセットにおいて、TasteNet-MNLはベンチマークMNLおよびミックスド・ロジットモデルを上回る予測精度を示し、より高い検定外尤度を達成した。
• TasteNet-MNLは平均的な時間価値を高く推定し、収入層ごとの好みのばらつきを標準MNLモデルよりも広く捉えていた。
• TasteNet-MNLが推定した選択弾力率は妥当な範囲内にあり、MNL-Cと比較して収入層ごとのより洗練された変動を示しており、行動の現実性が向上していることを示唆している。
• TasteNet-MNLは分布外のサンプルでは大きな推定誤差を示しており、不確実性の定量化およびベースラインモデルとの系統的検証の必要性を浮き彫りにしている。