[論文レビュー] Modeling Stated Preference for Mobility-on-Demand Transit: A Comparison of Machine Learning and Logit Models

Xilei Zhao, Xiang Yan+2 more|arXiv (Cornell University)|Nov 4, 2018

Economic and Environmental Valuation参考文献 40被引用数 18

ひとこと要約

本研究では、移動オンデマンド交通システムにおける表明選好（SP）を予測するために、機械学習（ML）モデルと従来のロジットモデル（特に多項ロジット（MNL）とミックスド・ロジット）を比較している。SPアンケート調査データを用いて、ランダムフォレスト（RF）やその他のMLモデルが、Out-of-sampleの予測精度においてロジットモデルを著しく上回ることを示している。また、行動的解釈についても大きな一致を示しており、MLモデルは非線形関係を自動的に捉える能力を有している。

ABSTRACT

Logit models are usually applied when studying individual travel behavior, i.e., to predict travel mode choice and to gain behavioral insights on traveler preferences. Recently, some studies have applied machine learning to model travel mode choice and reported higher out-of-sample predictive accuracy than traditional logit models (e.g., multinomial logit). However, little research focuses on comparing the interpretability of machine learning with logit models. In other words, how to draw behavioral insights from the high-performance "black-box" machine-learning models remains largely unsolved in the field of travel behavior modeling. This paper aims at providing a comprehensive comparison between the two approaches by examining the key similarities and differences in model development, evaluation, and behavioral interpretation between logit and machine-learning models for travel mode choice modeling. To complement the theoretical discussions, the paper also empirically evaluates the two approaches on the stated-preference survey data for a new type of transit system integrating high-frequency fixed-route services and ridesourcing. The results show that machine learning can produce significantly higher predictive accuracy than logit models. Moreover, machine learning and logit models largely agree on many aspects of behavioral interpretations. In addition, machine learning can automatically capture the nonlinear relationship between the input features and choice outcomes. The paper concludes that there is great potential in merging ideas from machine learning and conventional statistical methods to develop refined models for travel behavior research and suggests some new research directions.

研究の動機と目的

• 旅行モード選好研究における機械学習とロジットモデルの解釈可能性と予測性能を比較するというギャップを埋めるため。
• 高い性能を示す「ブラックボックス」型MLモデルが、従来のロジットモデルと同等の信頼性のある行動的洞察を提供できるかどうかを評価するため。
• 表明選好データの文脈において、MLモデルとロジットモデルの間のデータ要件、モデリングアプローチ、出力解釈の根本的な違いを検討するため。
• MLの予測力とロジットモデルの解釈可能性を組み合わせることで、より優れた旅行行動モデリングが可能かどうかを検討するため。
• 新規の移動オンデマンド交通システムのSPアンケートデータセットを用いて、さまざまなMLアルゴリズムとロジットモデルの性能を評価するため。

提案手法

• 交差検証を用いて、ランダムフォレスト、ニューラルネットワーク、勾配ブースティングを含む7種類の機械学習分類器と、2種類のロジットモデル（MNLとミックスド・ロジット）を実証的に比較する。
• MLモデルの解釈可能性技術を適用する：変数重要度、部分的依存プロット、感度分析を用いて行動的洞察を抽出する。
• 固定路線とオンデマンドサービスを統合した計画中の移動オンデマンド交通システムの表明選好アンケート調査データを用いる。
• k分割交差検証を用いて、Out-of-sampleの予測精度を評価する。
• ロジットモデルからマージナル効果とアーク価格弾力率を計算し、MLから得られる行動的解釈と比較する。
• 正解率やROC曲線下の面積（AUC）などの標準指標を用いて、モデルのフィット度と予測能力を評価する。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、移動オンデマンド交通サービスの表明選好予測において、従来のロジットモデルと比べてどのように異なるか？
• RQ2 機械学習モデルとロジットモデルは、待機時間、乗換回数、ライドシェア時間などの旅行属性の重要度および影響の方向について、どの程度一致しているか？
• RQ3 機械学習モデルは、旅行属性とモード選択意思決定の間の非線形関係を自動的に同定・表現できるか？
• RQ4 マージナル効果やアーク価格弾力率などの行動的解釈において、MLモデルとロジットモデルの主な違いは何か？
• RQ5 機械学習モデルは、より正確で行動的根拠を持つロジットモデルの仕様を助けるための探索的ツールとして機能できるか？

主な発見

• ランダムフォレスト（RF）モデルが、最も高いOut-of-sampleの予測精度を達成し、MNLおよびミックスド・ロジットモデルを著しく上回った。
• RFやニューラルネットワークを含む大多数の機械学習モデルが、個別および集計レベルの予測において、ロジットモデルを上回る優れた予測性能を示した。
• ミックスド・ロジットモデルは、MNLモデルよりも予測精度が低く、過学習の可能性があるため、より複雑なロジットモデルが常に優れた結果をもたらすという仮定に疑問を呈した。
• 機械学習モデルとロジットモデルは、待機時間、乗換回数、ライドシェア時間といった重要な属性の変数重要度および影響の方向について、強い一致を示した。
• 部分的依存プロットの結果、ランダムフォレストモデルが旅行時間および待機時間のモード選択への非線形効果を自動的に捉えており、MLが複雑な行動パターンを解明する上で有効であることを示唆している。
• MLモデルから得られたマージナル効果およびアーク価格弾力率の推定値は、ロジットモデルと一貫した傾向を示したが、定量的な差異を示しており、MLの出力がロジットモデルの行動的洞察を補完するものであることが示された。