[论文解读] Accurate and Diverse Sampling of Sequences Based on a ``Best of Many'' Sample Objective

Apratim Bhattacharyya, Bernt Schiele+1 more|arXiv (Cornell University)|Jan 1, 2018

Time Series Analysis and Forecasting参考文献 26被引用 26

一句话总结

本文为高斯潜变量模型提出了一种“众里挑一”（BMS）采样目标，以提升序列预测中的准确性和多样性，尤其在多模态不确定性场景下表现更优。通过使用联合学习的提议分布进行重要性采样，该方法减少了训练与推理之间潜在变量分布的偏移，在轨迹预测、MNIST笔画补全和气象雷达预报任务中，性能优于标准CVAE及现有最先进方法。

ABSTRACT

For autonomous agents to successfully operate in the real world, anticipation of future events and states of their environment is a key competence. This problem has been formalized as a sequence extrapolation problem, where a number of observations are used to predict the sequence into the future. Real-world scenarios demand a model of uncertainty of such predictions, as predictions become increasingly uncertain -- in particular on long time horizons. While impressive results have been shown on point estimates, scenarios that induce multi-modal distributions over future sequences remain challenging. Our work addresses these challenges in a Gaussian Latent Variable model for sequence prediction. Our core contribution is a "Best of Many" sample objective that leads to more accurate and more diverse predictions that better capture the true variations in real-world sequence data. Beyond our analysis of improved model fit, our models also empirically outperform prior work on three diverse tasks ranging from traffic scenes to weather data.

研究动机与目标

• 为解决标准CVAE目标在建模多模态、不确定未来序列时的局限性。
• 减少条件序列生成中训练与测试时潜在变量分布之间的分布偏移。
• 在具有固有不确定性的现实场景中，提升生成序列的准确性和多样性。
• 将条件生成模型的适用范围扩展至包含复杂多模态未来的全帧视频序列。
• 在超越合成基准的多样化真实世界序列预测任务中，对方法进行实证验证。

提出的方法

• 提出一种新颖的‘众里挑一’（BMS）采样目标，在训练过程中从多个生成序列中选择得分最高的样本。
• 通过联合学习的提议分布进行重要性采样，以降低模型更新中的方差，避免直接从先验分布采样。
• 通过引入多个样本并利用重要性权重对它们进行加权，改进变分下界，以更准确地逼近真实数据似然。
• 采用基于高斯潜变量的条件VAE框架，使用LSTM或Conv-LSTM的编码器-解码器架构进行序列建模。
• 引入重参数化技巧，以在连续潜变量存在的情况下实现高效的随机优化。
• 使用BMS目标进行模型训练，从而促使识别网络生成多样化且高似然的样本，使其更贴近真实数据分布。

实验结果

研究问题

• RQ1 修改后的采样目标是否能在多模态不确定性下同时提升序列预测的准确性和多样性？
• RQ2 减少训练与测试时潜在变量分布之间的偏移，是否能提升条件序列生成中的泛化性能？
• RQ3 BMS目标能否有效应用于多样化的真实世界序列预测任务，包括视频和时间序列数据？
• RQ4 在预测性能和样本质量方面，BMS目标与标准CVAE及其他多样本目标相比表现如何？
• RQ5 在复杂多模态场景中，BMS目标在多大程度上提升了模型拟合度并更好地捕捉了真实数据分布？

主要发现

• BMS目标显著改善了模型拟合度，通过在训练和测试时更好地对齐潜在变量分布，减少了分布偏移。
• 在Stanford Drone数据集上，LSTM-BMS模型在欧氏距离（1.84 px）和CLL指标（0.45）上均优于DESIRE-SI-IT4和LSTM-CVAE，表明其具有更高的准确性和更优的似然估计。
• 在MNIST笔画补全任务中，BMS模型实现了更低的重建误差，并生成了更多样化且合理的笔画补全结果，优于基线方法。
• 在HKO气象雷达数据集上，Conv-LSTM-BMS模型在CLL（1.28）以及降水临近预报指标（CSI：0.62，POD：0.81）上均优于先前工作。
• 定性结果表明，BMS模型中表现最好的10%样本更具准确性与多样性，且更符合场景布局与物理合理性。
• 该方法在三项多样化任务——轨迹预测、图像序列生成和气象预报——中，始终优于标准CVAE和最先进基线方法。