[论文解读] Bayesian Prediction of Future Street Scenes using Synthetic Likelihoods

Apratim Bhattacharyya, Mario Fritz+1 more|arXiv (Cornell University)|Oct 1, 2018

Time Series Analysis and Forecasting被引用 23

一句话总结

本文提出了一种新颖的贝叶斯深度学习方法，用于通过合成似然函数预测多模态未来街景，以增强模型多样性并提升不确定性校准。通过将基于Dropout的贝叶斯推断与合成似然函数结合，该方法在Cityscapes数据集上实现了最先进性能，同时生成了校准良好的概率预测，优于确定性模型和标准贝叶斯基线模型。

ABSTRACT

For autonomous agents to successfully operate in the real world, the ability to anticipate future scene states is a key competence. In real-world scenarios, future states become increasingly uncertain and multi-modal, particularly on long time horizons. Dropout based Bayesian inference provides a computationally tractable, theoretically well grounded approach to learn likely hypotheses/models to deal with uncertain futures and make predictions that correspond well to observations -- are well calibrated. However, it turns out that such approaches fall short to capture complex real-world scenes, even falling behind in accuracy when compared to the plain deterministic approaches. This is because the used log-likelihood estimate discourages diversity. In this work, we propose a novel Bayesian formulation for anticipating future scene states which leverages synthetic likelihoods that encourage the learning of diverse models to accurately capture the multi-modal nature of future scene states. We show that our approach achieves accurate state-of-the-art predictions and calibrated probabilities through extensive experiments for scene anticipation on Cityscapes dataset. Moreover, we show that our approach generalizes across diverse tasks such as digit generation and precipitation forecasting.

研究动机与目标

• 为解决标准基于Dropout的贝叶斯深度学习在捕捉多模态未来街景分布方面的局限性，即似然最大化倾向于预测均值。
• 开发一种贝叶斯框架，以促进模型多样性，更好地表征自动驾驶场景中不确定的多模态未来状态。
• 提升长时序场景预测任务中的不确定性校准与预测准确性。
• 证明该方法在街景之外的泛化能力，适用于如数字生成和降水预报等任务。

提出的方法

• 将基于Dropout的贝叶斯神经网络适配为在训练过程中使用合成似然函数而非标准对数似然函数。
• 提出一种新颖的优化目标，放宽了要求每个模型必须解释每个数据点的约束，从而促进模型集合的多样性。
• 采用一种合成似然公式，其中每个模型根据其生成合理数据样本的能力进行评估，而非精确拟合观测数据。
• 使用识别网络来调节最终卷积层中的噪声注入，以有效建模数据变化。
• 将该方法应用于基于ResNet的编码器-解码器架构中未来帧的语义分割预测，引入Dropout机制。
• 通过多种指标（包括CLL、校准性以及多样预测的定性采样）验证该方法。

实验结果

研究问题

• RQ1 合成似然函数能否提升贝叶斯深度学习在多模态未来场景预测中的模型多样性？
• RQ2 与标准基于Dropout的贝叶斯推断相比，该方法在长时序场景预测任务中是否实现了更高的预测准确性和更好的不确定性校准？
• RQ3 该方法能否泛化到街景之外的其他多模态预测任务，如数字生成和天气预报？
• RQ4 在捕捉行人和车辆运动模式方面，模型的预测多样性与真实数据分布相比如何？
• RQ5 合成似然目标在多大程度上缓解了标准贝叶斯方法倾向于坍缩为均值预测的倾向？

主要发现

• Bayes-WD-SL模型在Cityscapes数据集上实现了最先进性能，优于确定性ResG-Mean模型和标准贝叶斯基线模型。
• Bayes-WD-SL模型显著优于Bayes-S模型，表明合成似然函数能有效解决贝叶斯深度学习中的多样性问题。
• 该方法实现了更优的不确定性校准，预测概率在t+10时刻的所有概率分箱中均与观测频率高度一致。
• 定性结果表明，来自模型分布的样本与行人和车辆可能运动范围高度吻合，证实了多模态建模的有效性。
• 该方法在其他任务中也表现出良好的泛化能力，包括数字生成和降水预报，在捕捉数据变化方面优于基线CVAE模型。
• CLL指标确认，Bayes-WD-SL模型的预测分布比所有其他模型更接近真实数据分布，表明其不确定性量化准确。