[論文レビュー] ResLogit: A residual neural network logit model

Melvin Wong, Bilal Farooq|arXiv (Cornell University)|Dec 20, 2019

Economic and Environmental Valuation参考文献 1被引用数 5

ひとこと要約

ResLogitは、深層学習とランダムユーティリティ最大化を統合する、残差ニューラルネットワークに基づくロジットモデルを提案する。これにより、柔軟な誤差構造を有する解釈可能な離散選択モデルが可能となり、標準的なロジットモデルを超える複雑な置換パターンと観察されない異質性を捉えることができる。ユーティリティ誤差の残差共分散をモデル化することで、理論的根拠を保ちつつ、より洗練された選択行動の解釈が可能となる。

ABSTRACT

We present a Residual Logit (ResLogit) model for seamlessly integrating a data-driven Deep Neural Network (DNN) architecture in the random utility maximization paradigm. DNN models such as the Multi-layer Perceptron (MLP) have shown remarkable success in modelling complex data accurately, but recent studies have consistently demonstrated that their black-box properties are incompatible with discrete choice analysis for the purpose of interpreting decision making behaviour. Our proposed machine learning choice model is a departure from the conventional feed-forward MLP framework by using a dynamic residual neural network learning based approach. Our proposed method can be formulated as a Generalized Extreme Value (GEV) random utility maximization model for greater flexibility in capturing unobserved heterogeneity. It can generate choice model structures where the covariance between random utilities is estimated and incorporated into the random error terms, allowing for a richer set of higher-order substitution patterns than a standard logit might be able to achieve. We describe the process of our model estimation and examine the relative empirical performance and econometric implications on two mode choice experiments. We analyzed the behavioural and theoretical properties of our methodology. We showed how model interpretability is possible, while also capturing the underlying complex and unobserved behavioural heterogeneity effects in the residual covariance matrices.

研究の動機と目的

• ブラックボックス型の深層ニューラルネットワークが離散選択分析に与える解釈可能性の制限を是正すること。
• 理論的根拠を失うことなく、深層学習アーキテクチャをランダムユーティリティ最大化フレームワークに拡張すること。
• 誤差項における構造的残差共分散行列を用いて、観察されない異質性をモデル化すること。
• 標準的なロジットモデルが許容する範囲を超えて、より洗練された置換パターンをモデル化すること。
• GEVベースの定式化により、複雑で観察されない行動的異質性を捉えながらも、モデルの解釈可能性を維持すること。

提案手法

• 柔軟な誤差構造とランダムユーティリティ内の相関を許容するため、一般化極値（GEV）ランダムユーティリティ最大化モデルとしてモデルを定式化する。
• 標準的な順方向型MLP構造に代わり、複雑なユーティリティ関数を学習するための残差ニューラルネットワーク（ResNet）アーキテクチャを用いる。
• ネットワーク内の残差接続により、より深いアーキテクチャが可能となり、選択データにおける複雑な非線形関係の学習が向上する。
• 残差誤差の共分散行列を推定することで、代替品間の高次元の置換パターンを可能にする。
• 理論的一致性を確保するため、深層学習最適化と計量経済学的原則を統合した推定プロセスを採用する。
• モデル構造により、学習された残差共分散とユーティリティパラメータを通じて選択行動の解釈が可能となる。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックス型の深層ニューラルネットワークをランダムユーティリティ最大化フレームワークに組み込みつつ、解釈可能性を保持できるか？
• RQ2 ResLogitモデルは、標準的なロジットモデルやMLPモデルに比べて、選択行動における観察されない異質性をどの程度改善して捉えられるか？
• RQ3 誤差項における残差共分散行列が、独立不関連代替（IIA）仮定を超えて、どの程度複雑な置換パターンをモデル化できるか？
• RQ4 実世界の離散選択設定において、ResLogitモデルの実証的性能と計量経済学的含意は何か？
• RQ5 ResNetアーキテクチャの統合が、選択モデルにおけるモデルの柔軟性と解釈可能性をどの程度向上させるか？

主な発見

• ResLogitモデルは、GEVベースの誤差構造を用いて、深層ニューラルネットワークをランダムユーティリティ最大化フレームワークに効果的に統合した。
• 推定された残差共分散行列を通じて、標準的なロジットモデルのIIA仮定を超える複雑な高次元の置換パターンを捉えることができた。
• 2つのモード選択実験における実証結果から、行動的異質性の捉え方において、標準的なロジットモデルやMLPモデルを上回る性能が示された。
• 残差ネットワークを意味のあるユーティリティ成分と誤差相関を反映する形に構造化することで、モデルの解釈可能性を維持した。
• 推定プロセスにより、ユーティリティパラメータと残差共分散の両方について信頼性のある推論が可能となり、理論的・行動的分析を支援した。
• 本手法は、well-foundedな計量経済学的フレームワーク内に深層学習を埋め込むことで、選択モデルにおける深層学習の解釈可能性を実証した。