[論文レビュー] Deep Neural Networks for Choice Analysis: A Statistical Learning Theory Perspective

Shenhao Wang, Qingyi Wang+2 more|arXiv (Cornell University)|Oct 24, 2018

Economic and Environmental Valuation参考文献 64被引用数 8

ひとこと要約

本稿は、選択分析における深層ニューラルネットワーク（DNN）の過学習と解釈可能性を扱う統計的学習理論フレームワークを提案する。推定誤差と近似誤差に分解し、解釈可能性損失を真の選択確率関数と推定された選択確率関数の差として定義することで、DNNがバイナリロジットモデル（BNL）を上回ることを示している。特に標本サイズが10⁴を超える場合に顕著であり、従来の選択モデルに対する理論的裏付けが明確で、解釈可能な代替手段を提供する。

ABSTRACT

While researchers increasingly use deep neural networks (DNN) to analyze individual choices, overfitting and interpretability issues remain as obstacles in theory and practice. By using statistical learning theory, this study presents a framework to examine the tradeoff between estimation and approximation errors, and between prediction and interpretation losses. It operationalizes the DNN interpretability in the choice analysis by formulating the metrics of interpretation loss as the difference between true and estimated choice probability functions. This study also uses the statistical learning theory to upper bound the estimation error of both prediction and interpretation losses in DNN, shedding light on why DNN does not have the overfitting issue. Three scenarios are then simulated to compare DNN to binary logit model (BNL). We found that DNN outperforms BNL in terms of both prediction and interpretation for most of the scenarios, and larger sample size unleashes the predictive power of DNN but not BNL. DNN is also used to analyze the choice of trip purposes and travel modes based on the National Household Travel Survey 2017 (NHTS2017) dataset. These experiments indicate that DNN can be used for choice analysis beyond the current practice of demand forecasting because it has the inherent utility interpretation, the flexibility of accommodating various information formats, and the power of automatically learning utility specification. DNN is both more predictive and interpretable than BNL unless the modelers have complete knowledge about the choice task, and the sample size is small. Overall, statistical learning theory can be a foundation for future studies in the non-asymptotic data regime or using high-dimensional statistical models in choice analysis, and the experiments show the feasibility and effectiveness of DNN for its wide applications to policy and behavioral analysis.

研究の動機と目的

• 選択分析におけるDNNの過学習懸念、特に小標本・非漸近的状況での対処。
• 関数推定と選択確率損失を用いたDNNベース選択モデルにおける解釈可能性の形式的定義と実装。
• シミュレーションおよび実世界の状況において、DNNとバイナリロジットモデル（BNL）の予測性能と解釈可能性を比較すること。
• 高次元的・非漸近的選択モデリングにおける統計的学習理論を用いた理論的基盤の確立。
• DNNが従来モデルと同等またはそれを上回る行動的・政策的意味を持つ解釈可能性を達成できることの実証。

提案手法

• ラデマッハ複雑度を用いて、VC次元に依存しないDNNにおける推定誤差の上界を導出する統計的学習理論の利用。
• 誤差を推定誤差と近似誤差に分解し、パラメータの数ではなく、パラメータノルムが推定誤差の上界を決定することを示す。
• 解釈可能性損失を真の選択確率関数と推定された選択確率関数のL2差として定義。
• 3つのシナリオにおけるモンテカルロシミュレーションを用い、DNNとBNLの予測性能および解釈可能性性能を比較。
• National Household Travel Survey 2017（NHTS2017）にDNNを適用し、旅行目的と移動手段選択の分析を実施。実世界への適用可能性を検証。
• 解釈可能性をパラメータ推定ではなく、予測駆動の関数推定として定式化。これにより、自動的な効用関数の指定が可能になる。

実験結果

リサーチクエスチョン

• RQ1 小標本・非漸近的状況下でも、DNNが過学習を伴わずに選択モデリングに信頼性を持って利用可能か。
• RQ2 DNNベース選択モデルにおける解釈可能性は、従来モデルと比較して形式的に定義され、測定可能か。
• RQ3 さまざまなデータ環境下で、DNNが予測精度と解釈可能性の両面でBNLをどの程度上回るか。
• RQ4 標本サイズが、選択分析におけるDNNの予測力と従来モデルの性能に与える役割は何か。
• RQ5 DNNは、ドメイン知識に基づく特徴工学を減らすために、手作業で設計されたものと同等またはそれを上回る行動的意味を持つ効用仕様を自動で学習できるか。

主な発見

• DNNは、標本サイズが10⁴を超えると、ほとんどのシミュレーション状況でBNLを予測性能と解釈可能性の両面で上回る。
• DNNの予測的優位性は、大規模な標本サイズに達した場合に顕著になるが、BNLの性能は標本サイズにかかわらず飽和する。
• ラデマッハ複雑度を用いた解釈可能性損失の有効な上界が得られ、モデルノルムを制御することで、非漸近的状況下でもDNNが過学習しないことが示された。
• DNNは個々のパラメータ推定に依存せず、選択確率関数全体を推定することで、BNLと同等またはそれ以上の解釈可能性を達成している。
• NHTS2017への応用において、DNNは高い予測力と解釈可能な効用構造を用いて、旅行目的と移動手段選択を的確にモデル化した。
• 本研究は、DNNが複雑な効用仕様を自動で学習できることを示し、ドメイン知識に基づく特徴工学への依存を軽減できることを示した。