[論文レビュー] Theory-based residual neural networks: A synergy of discrete choice models and deep neural networks

Shenhao Wang, Baichuan Mo+1 more|arXiv (Cornell University)|Oct 22, 2020

Transportation Planning and Optimization参考文献 80被引用数 6

ひとこと要約

本稿では、理論に基づく残差畳み込みニューラルネットワーク（TB-ResNets）を提案する。これは、離散選択モデル（DCMs）と深層ニューラルネットワーク（DNNs）を、(δ, 1−δ)重み付け方式によってその効用関数を統合することで、両者の長所を生かしたフレームワークである。この手法により、DCMsが効用関数の安定化を担い、DNNsが複雑な行動パターンを捉えることで、予測精度、解釈可能性、耐性の向上が達成され、純粋なDCMsやDNNsを上回る。

ABSTRACT

Researchers often treat data-driven and theory-driven models as two disparate or even conflicting methods in travel behavior analysis. However, the two methods are highly complementary because data-driven methods are more predictive but less interpretable and robust, while theory-driven methods are more interpretable and robust but less predictive. Using their complementary nature, this study designs a theory-based residual neural network (TB-ResNet) framework, which synergizes discrete choice models (DCMs) and deep neural networks (DNNs) based on their shared utility interpretation. The TB-ResNet framework is simple, as it uses a ($δ$, 1-$δ$) weighting to take advantage of DCMs' simplicity and DNNs' richness, and to prevent underfitting from the DCMs and overfitting from the DNNs. This framework is also flexible: three instances of TB-ResNets are designed based on multinomial logit model (MNL-ResNets), prospect theory (PT-ResNets), and hyperbolic discounting (HD-ResNets), which are tested on three data sets. Compared to pure DCMs, the TB-ResNets provide greater prediction accuracy and reveal a richer set of behavioral mechanisms owing to the utility function augmented by the DNN component in the TB-ResNets. Compared to pure DNNs, the TB-ResNets can modestly improve prediction and significantly improve interpretation and robustness, because the DCM component in the TB-ResNets stabilizes the utility functions and input gradients. Overall, this study demonstrates that it is both feasible and desirable to synergize DCMs and DNNs by combining their utility specifications under a TB-ResNet framework. Although some limitations remain, this TB-ResNet framework is an important first step to create mutual benefits between DCMs and DNNs for travel behavior modeling, with joint improvement in prediction, interpretation, and robustness.

研究の動機と目的

• 移動行動研究におけるデータ駆動型機械学習と理論駆動型離散選択モデルの間の葛藤を解消すること。
• 純粋なDNNs（低解釈性、低耐性）と純粋なDCMs（低予測力）の限界を、両者の統合によって克服すること。
• 分野固有の行動理論とデータ駆動型学習を統合する柔軟で一般化可能なフレームワークを構築し、より優れたモデリング結果を得ること。
• DCMsとDNNsを効用に基づく残差学習によって統合することで、予測、解釈可能性、耐性の面で両方の指標が向上することを実証すること。

提案手法

• 理論駆動型DCMとデータ駆動型DNNを、(δ, 1−δ)重み付けによるその効用関数の統合によって結合するTB-ResNetフレームワークを提案し、深層ネットワークにおける残差学習を模倣する。
• DNNsにおけるソフトマックス活性化関数を用いて、確率的整合性を確保し、ランダム効用最大化（RUM）フレームワークと直接的な効用レベルの統合を可能にする。
• TB-ResNetを正則化メカニズムとして形式化する：DCMsはDNNsの過学習を抑制し、DNNsはDCMsに柔軟でデータ駆動型の効用成分を付加する。
• 3つのTB-ResNetインスタンスを設計する：MNL-ResNet（多項ロジットに基づく）、PT-ResNet（リスク選好のためのプロスペクト理論）、HD-ResNet（時間選好のための双曲的割引）。
• 統計的学習理論を用いて正則化効果を正当化し、DNNs単体では過学習に陥りやすく、DCMs単体では過小適合（underfitting）しやすいことを示す。
• シンガポールとTanaka, 2010の2つのデータセットの合計3つのデータセットを用いた実証的テストにより、予測、解釈可能性、耐性の指標における性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 離散選択モデルと深層ニューラルネットワークは、共通の効用解釈を通じて意味的に統合可能か？
• RQ2 効用に基づく残差効用フレームワークを介してDCMsとDNNsを統合することで、両者を個別に用いた場合を上回る予測精度が達成可能か？
• RQ3 理論駆動型コンponentの組み込みが、データ駆動型モデルにおける解釈可能性と耐性をどの程度向上させるか？
• RQ4 TB-ResNetフレームワークは、選択モデリングにおける異なる行動理論（例：プロスペクト理論、双曲的割引）に柔軟に適応可能か？
• RQ5 (δ, 1−δ)重み付け方式は、モデルの単純さと予測の豊かさのトレードオフをどのようにバランスさせるか？

主な発見

• TB-ResNetsは、DNN由来の成分をDCMsの効用関数に追加することで、純粋なDCMsに比べて顕著に予測精度が向上する。
• 純粋なDNNsと比較して、TB-ResNetsは予測精度はわずかに向上するが、DCMコンponentの安定化効果により、解釈可能性と耐性が著しく向上する。
• MNL-ResNet、PT-ResNet、HD-ResNetの各インスタンスとも、予測、解釈可能性、耐性の3つの評価基準すべてで性能が向上している。
• 3つのデータセットにおける実証的結果から、TB-ResNetsは純粋なDNNsやDCMsを常に上回るか、同等の性能を示し、モデルの安定性と行動的洞察の豊かさに顕著な向上が見られた。
• このフレームワークは、多様な行動理論を統合可能な統一された深層学習アーキテクチャとして成功裏に実現され、DCMs単体よりも洗練された行動メカニズムを明らかにした。
• DCMコンponentの正則化効果により、DNNsの過学習が軽減され、DNNsコンponentによりDCMsの過小適合が緩和される。これにより、両者の統合効果の仮説が裏付けられた。