[论文解读] Conditional Flow Variational Autoencoders for Structured Sequence Prediction

Apratim Bhattacharyya, Michael Hanselmann+3 more|arXiv (Cornell University)|Aug 24, 2019

Anomaly Detection Techniques and Applications参考文献 54被引用 12

一句话总结

本文提出条件流变分自编码器（CF-VAE），一种新颖方法，利用条件归一化流作为先验，以建模结构化序列预测中的复杂、多模态条件分布。通过引入后验正则化和条件正则化，CF-VAE 稳定了训练过程并缓解了后验崩溃问题，在 MNIST、Stanford Drone 和 HighD 数据集上多个指标上均达到最先进性能。

ABSTRACT

Prediction of future states of the environment and interacting agents is a key competence required for autonomous agents to operate successfully in the real world. Prior work for structured sequence prediction based on latent variable models imposes a uni-modal standard Gaussian prior on the latent variables. This induces a strong model bias which makes it challenging to fully capture the multi-modality of the distribution of the future states. In this work, we introduce Conditional Flow Variational Autoencoders (CF-VAE) using our novel conditional normalizing flow based prior to capture complex multi-modal conditional distributions for effective structured sequence prediction. Moreover, we propose two novel regularization schemes which stabilizes training and deals with posterior collapse for stable training and better fit to the target data distribution. Our experiments on three multi-modal structured sequence prediction datasets -- MNIST Sequences, Stanford Drone and HighD -- show that the proposed method obtains state of art results across different evaluation metrics.

研究动机与目标

• 为解决标准 CVAE 的局限性，其使用单峰高斯先验，在多模态序列预测中存在模型偏差和后验崩溃问题。
• 开发更具表现力的先验，以捕捉结构化序列生成中复杂、依赖数据的条件分布。
• 通过新颖的正则化方案稳定训练过程并改善对真实数据分布的拟合。
• 在多样化的结构化序列预测基准（包括轨迹预测与手写体预测）上展示最先进性能。

提出的方法

• 提出一种灵活可学习的先验——条件归一化流，用于建模未来序列上复杂、多模态的条件分布。
• 采用基于流的变换，利用可逆、可微的神经网络将简单基分布映射为复杂条件先验分布。
• 引入后验正则化（pR），以稳定变分下界优化过程，并提升与真实数据分布的一致性。
• 引入条件正则化（cR），通过在训练中移除冗余的条件信号，防止后验崩溃。
• 使用条件推理网络将输入映射到潜在码，其中流先验基于输入上下文进行条件化。
• 结合归一化流与变分推断，实现在结构化序列生成中精确的似然估计与高效采样。

实验结果

研究问题

• RQ1 条件归一化流先验是否能有效建模结构化序列预测任务中复杂、多模态的条件分布？
• RQ2 在建模高变异性、多模态未来序列时，如何缓解 CVAE 中的后验崩溃问题？
• RQ3 后验正则化是否能提升具有复杂先验的条件 VAE 的训练稳定性和泛化能力？
• RQ4 条件正则化是否能通过防止对条件信号的过度依赖来提升模型性能？
• RQ5 所提出的 CF-VAE 是否在多样化的结构化序列预测基准上均达到最先进结果？

主要发现

• 在 MNIST Sequences 数据集上，CF-VAE 结合后验与条件正则化，在最小平均位移误差（mADE）上相比之前最先进方法提升了 20%。
• 在 Stanford Drone 数据集上，CF-VAE 超过所有基线模型（包括 MoG-CVAE 和 BMS-CVAE），在 mADE 和 mFDE 指标上均提升 20%。
• 在 HighD 数据集上，CF-VAE 结合 pR 与 cR 正则化，实现 mADE 为 0.29、mFDE 为 0.55，显著优于 CVAE 基线（mADE: 0.38, mFDE: 0.80）和确定性基线。
• 通过卷积社交池化网络引入上下文信息后，性能在 HighD 上进一步提升，证明了条件流先验在真实场景中的有效性。
• 定性结果表明，CF-VAE 能生成多样化、细节丰富的预测，包括复杂轨迹如急转弯，而标准 CVAE 仅生成有限且多样性较低的输出。
• 消融实验确认 pR 与 cR 均不可或缺：任一移除均导致性能下降，且 cR 在低模态主导场景中对防止后验崩溃尤为有效。