[论文解读] Knowledge Adaption for Demand Prediction based on Multi-task Memory Neural Network

Can Li, Lei Bai+3 more|arXiv (Cornell University)|Sep 12, 2020

Traffic Prediction and Management Techniques参考文献 31被引用 7

一句话总结

本文提出 MATURE，一种基于记忆增强的多任务循环神经网络，通过从站点密集型交通模式（如公交车）向站点稀疏型公共交通模式（如轻轨、渡轮）迁移知识，提升对站点稀疏型交通模式的需求预测性能。通过整合记忆增强循环网络、知识适配模块与多任务学习，MATURE 显著提升了低数据量模式的预测准确性，在悉尼大都会区真实交通数据上优于当前最先进基线模型。

ABSTRACT

Accurate demand forecasting of different public transport modes(e.g., buses and light rails) is essential for public service operation.However, the development level of various modes often varies sig-nificantly, which makes it hard to predict the demand of the modeswith insufficient knowledge and sparse station distribution (i.e.,station-sparse mode). Intuitively, different public transit modes mayexhibit shared demand patterns temporally and spatially in a city.As such, we propose to enhance the demand prediction of station-sparse modes with the data from station-intensive mode and designaMemory-Augmented Multi-taskRecurrent Network (MATURE)to derive the transferable demand patterns from each mode andboost the prediction of station-sparse modes through adaptingthe relevant patterns from the station-intensive mode. Specifically,MATUREcomprises three components: 1) a memory-augmentedrecurrent network for strengthening the ability to capture the long-short term information and storing temporal knowledge of eachtransit mode; 2) a knowledge adaption module to adapt the rele-vant knowledge from a station-intensive source to station-sparsesources; 3) a multi-task learning framework to incorporate all theinformation and forecast the demand of multiple modes jointly.The experimental results on a real-world dataset covering four pub-lic transport modes demonstrate that our model can promote thedemand forecasting performance for the station-sparse modes.

研究动机与目标

• 解决因数据有限和站点分布稀疏导致的站点稀疏型公共交通模式（如轻轨、渡轮）需求预测不准确的问题。
• 利用不同交通模式之间共享的时间与空间需求模式，提升低数据量模式的预测性能。
• 开发一种能够有效从站点密集型模式（如公交车）向站点稀疏型模式（如轻轨、渡轮）迁移并适配知识的模型。
• 通过结合多任务学习框架与知识适配机制，联合建模多种交通模式，提升预测鲁棒性。
• 通过自适应知识适配机制，最小化噪声影响，同时最大化从源模式到目标模式的有用特征迁移。

提出的方法

• 采用记忆增强循环网络（MARN）捕获长短期时间依赖关系，并将模式特异性的时间知识存储于外部记忆中。
• 引入知识适配模块，通过可学习的自适应函数，选择性地将站点密集型模式的记忆知识迁移至站点稀疏型模式的记忆中。
• 将知识迁移建模为源记忆状态与目标记忆状态的加权组合，其中可学习超参数 γ 控制原始知识与适配知识之间的平衡。
• 将适配后的知识整合进多任务学习框架，通过共享组件与任务特定组件，联合优化所有交通模式的需求预测。
• 采用损失函数，结合平均绝对误差（MAE）与均方根误差（RMSE），并通过超参数 γ 平衡适配知识的影响。
• 在悉尼大都会区四种公共交通模式（公交车、火车、轻轨、渡轮）的真实世界数据上端到端训练模型。

实验结果

研究问题

• RQ1 能否有效从站点密集型交通模式（如公交车）迁移知识，以改善站点稀疏型模式（如轻轨、渡轮）的需求预测？
• RQ2 所提出的知识适配机制相较于简单特征拼接，在性能与抗噪鲁棒性方面表现如何？
• RQ3 结合共享记忆与知识迁移的多任务学习在多模式需求预测中的准确性提升程度如何？
• RQ4 模型性能对控制知识适配程度的超参数 γ 的敏感性如何？
• RQ5 尽管存在天气或非常规事件等外部干扰，模型是否仍能准确预测低数据量模式的需求高峰与低谷？

主要发现

• MATURE 通过利用站点密集型公交车模式的知识，显著提升了站点稀疏型模式（轻轨、渡轮、火车）的需求预测准确性。
• 知识适配模块在降低噪声影响与增强有用特征迁移方面优于简单特征拼接，表现为更低的 MAE 与 RMSE 值。
• 模型在渡轮模式中 γ = 0.3、轻轨模式中 γ = 0.4、火车模式中 γ = 0.3 时表现最佳，表明知识适配达到最优平衡。
• 模型对超参数 γ 具备鲁棒性，不同 γ 值下性能波动极小，表明具有稳定的泛化能力。
• 在不同需求范围内预测准确性保持较高水平，预测曲线与实际曲线高度吻合，仅在极端外部干扰（如天气相关下降）时出现偏差。
• 模型能准确捕捉大多数需求高峰，但对某些异常下降或突发变化的预测仍具挑战，除非引入额外上下文信息。