[论文解读] Beyond expectation: Deep joint mean and quantile regression for spatio-temporal problems

Filipe Rodrigues, Francisco C. Pereira|arXiv (Cornell University)|Aug 27, 2018

Urban Transport and Accessibility被引用 6

一句话总结

本文提出 DeepJMQR，一种多输出深度学习模型，通过卷积 LSTM 和多任务学习，联合预测时空数据的条件均值和多个分位数。通过在不同任务间共享网络参数，该方法消除了分位数交叉问题，提升了预测精度，并以极低的计算成本提供了校准的不确定性估计，在出租车需求和交通速度预测任务上显著优于当前最先进方法。

ABSTRACT

Spatio-temporal problems are ubiquitous and of vital importance in many research fields. Despite the potential already demonstrated by deep learning methods in modeling spatio-temporal data, typical approaches tend to focus solely on conditional expectations of the output variables being modeled. In this paper, we propose a multi-output multi-quantile deep learning approach for jointly modeling several conditional quantiles together with the conditional expectation as a way to provide a more complete "picture" of the predictive density in spatio-temporal problems. Using two large-scale datasets from the transportation domain, we empirically demonstrate that, by approaching the quantile regression problem from a multi-task learning perspective, it is possible to solve the embarrassing quantile crossings problem, while simultaneously significantly outperforming state-of-the-art quantile regression methods. Moreover, we show that jointly modeling the mean and several conditional quantiles not only provides a rich description about the predictive density that can capture heteroscedastic properties at a neglectable computational overhead, but also leads to improved predictions of the conditional expectation due to the extra information and a regularization effect induced by the added quantiles.

研究动机与目标

• 为解决深度学习模型在时空数据中缺乏校准不确定性估计的问题，特别是在需要稳健风险评估的应用中。
• 克服标准深度学习方法仅关注条件期望的局限性，这些方法无法捕捉分布异方差性和不确定性。
• 通过共享表示学习强制一致性，解决分位数回归中的经典分位数交叉问题。
• 通过利用多个分位数提供的额外信息，提升均值预测性能，产生正则化效应。
• 为现实世界交通应用（如出租车车队管理与交通预测）提供全面的预测密度描述。

提出的方法

• 提出一种基于卷积 LSTM 的深度神经网络架构，用于建模序列化网格数据中的时空依赖性。
• 设计一个多输出头，利用共享编码器特征同时预测条件均值和多个条件分位数（例如 0.1、0.5、0.9）。
• 在所有输出头之间实施硬参数共享，以强制预测分位数之间的一致性与连贯性，防止分位数交叉。
• 为每个分位数头使用分位数损失函数（pinball loss），为均值头使用均方误差损失函数，通过端到端训练联合优化。
• 将模型应用于两个大规模交通数据集：纽约市出租车需求数据与哥本哈根交通速度数据，均具有时空维度。
• 采用多任务学习框架，共享表示学习联合时空模式，提升泛化能力与不确定性估计性能。

实验结果

研究问题

• RQ1 与仅预测均值的模型相比，联合建模多个分位数与条件均值是否能提升时空预测的准确性？
• RQ2 通过共享参数的多任务学习是否能有效防止深度分位数回归中的分位数交叉？
• RQ3 包含分位数在多大程度上通过正则化和额外的分布信息改善了均值预测？
• RQ4 所提出方法在捕捉真实时空数据（如交通速度或出租车需求）中的异方差性方面表现如何？
• RQ5 该模型是否能在保持适当覆盖的前提下，实现比最先进方法更紧密且更可靠的预测区间？

主要发现

• DeepJMQR 在出租车需求与交通速度预测任务中，预测精度显著优于当前最先进分位数回归方法，包括线性 QR 与基于 RKHS 的方法。
• 模型在条件均值预测上实现了统计上显著的误差降低，表明引入分位数头产生了正则化效应。
• 由于硬参数共享，分位数交叉被有效消除，确保了预测分位数之间的单调性。
• DeepJMQR 生成的预测区间比线性 QR 更紧密且更可靠，尤其在夜间等高变异性时期，此时不确定性本就更高。
• 该模型成功捕捉了数据中的异方差行为——在白天高置信度时段生成更窄的区间，而在夜间信号弱的低信噪比时段生成更宽的区间，真实反映了数据的方差变化。
• 在所有评估方法中，DeepJMQR 生成的 90% 和 80% 预测区间最紧密，且覆盖性能良好（ICP 接近目标值），甚至优于牺牲覆盖性的 RKHS 方法。