[论文解读] A deep inverse reinforcement learning approach to route choice modeling with context-dependent rewards

Zhan Zhao, Yuebing Liang|arXiv (Cornell University)|Jun 18, 2022

Transportation Planning and Optimization被引用 8

一句话总结

本文提出了一种基于深度逆强化学习（IRL）的框架RCM-AIRL，用于基于路段的路径选择建模，通过对抗性IRL捕捉上下文相关、非线性的奖励函数，在上海出租车GPS数据上实现了更高的预测准确率和泛化能力——尤其在未见目的地的情况下表现更优，优于传统的离散选择模型（DCMs）和模仿学习基线方法。

ABSTRACT

Route choice modeling is a fundamental task in transportation planning and demand forecasting. Classical methods generally adopt the discrete choice model (DCM) framework with linear utility functions and high-level route characteristics. While several recent studies have started to explore the applicability of deep learning for route choice modeling, they are limited to path-based models with relatively simple model architectures and relying on predefined choice sets. Existing link-based models can capture the dynamic nature of link choices within the trip without the need for choice set generation, but still assume linear relationships and link-additive features. To address these issues, this study proposes a general deep inverse reinforcement learning (IRL) framework for link-based route choice modeling, which is capable of incorporating diverse features (of the state, action and trip context) and capturing complex relationships. Specifically, we adapt an adversarial IRL model to the route choice problem for efficient estimation of context-dependent reward functions without value iteration. Experiment results based on taxi GPS data from Shanghai, China validate the superior prediction performance of the proposed model over conventional DCMs and other imitation learning baselines, even for destinations unseen in the training data. Further analysis show that the model exhibits competitive computational efficiency and reasonable interpretability. The proposed methodology provides a new direction for future development of route choice models. It is general and can be adaptable to other route choice problems across different modes and networks.

研究动机与目标

• 为解决经典离散选择模型（DCMs）在捕捉城市网络中复杂、非线性及上下文相关路径偏好方面的局限性。
• 开发一种灵活的基于路段的路径选择模型，避免预设选择集的需求，并可整合多样化的高维特征（状态、动作、上下文）。
• 实现在无需价值迭代的情况下，高效地进行上下文相关奖励函数的无模型估计，从而提升计算效率与可解释性。
• 在真实轨迹数据上验证模型性能，并展示其在应对网络变化时进行反事实分析的能力。
• 提供一种可推广的框架，适用于除当前出租车轨迹应用外的多种交通方式与网络类型。

提出的方法

• 将路径选择问题建模为马尔可夫决策过程（MDP），其中奖励函数依赖于状态、动作和上下文。
• 将对抗性逆强化学习（AIRL）方法适配于从观测到的人类轨迹中无模型地估计奖励函数，避免使用价值迭代。
• 使用深度神经网络（DNNs）对奖励函数和策略函数进行参数化，以支持非线性与高维特征的融合。
• 引入目的地距离、行程目的、一天中的时间等上下文特征，以建模动态、情境相关的路径偏好。
• 实施有效的动作空间约束，仅允许在每个节点处选择实际存在的出链，确保仅预测可行路径。
• 在AIRL框架下，通过判别器区分专家轨迹与生成轨迹，端到端地训练模型。

实验结果

研究问题

• RQ1 深度逆强化学习框架是否能有效建模复杂、上下文相关的路径选择行为，而无需依赖线性效用函数？
• RQ2 与传统DCMs及其他模仿学习基线相比，所提出的RCM-AIRL模型在预测路径选择方面表现如何，特别是在未见目的地的情况下？
• RQ3 与目的地相关的上下文特征在多大程度上影响模型学习目标导向行为的能力，并避免路径循环？
• RQ4 在不重新训练的情况下，模型是否能泛化到反事实场景（如路段关闭），仅通过更新网络特征即可实现？
• RQ5 与现有深度学习和传统DCM方法相比，该模型在可解释性与计算效率方面表现如何？

主要发现

• RCM-AIRL在测试数据上的预测性能显著优于传统DCMs及其他模仿学习基线，表现指标为：ED（欧氏距离）0.228，BLEU得分0.717，JSD 0.351，LP（对数似然）-4.301。
• 模型对未见目的地具有良好的泛化能力，在训练数据中未出现的OD对上仍保持强劲性能。
• 若排除与目的地相关的上下文特征，性能急剧下降（ED: 0.829，BLEU: 0.262，JSD: 0.593，LP: -9.018），轨迹频繁陷入循环。
• 模型展现出良好的计算效率与合理的可解释性，SHAP分析表明目的地距离是影响最大的特征。
• 反事实分析表明，RCM-AIRL可通过在更新后的网络上重新计算特征，无需重新训练即可预测网络修改（如路段关闭）下的行为变化。
• 模型学习目标导向探索的能力在很大程度上依赖于目的地上下文特征，这些特征引导奖励函数高效收敛至目标点。