[论文解读] CrevNet: Conditionally Reversible Video Prediction

Wei Yu, Yichao Lu+2 more|arXiv (Cornell University)|Oct 25, 2019

Advanced Image Processing Techniques参考文献 9被引用 7

一句话总结

CrevNet 提出了一种基于双射双向自编码器和可逆预测模块（RPMs）的条件可逆视频预测模型，实现了内存高效、信息无损的时空建模。通过利用可逆架构，CrevNet 能够从预测中实现精确重建，在仅使用 1 张 V100 GPU 的情况下，在高分辨率 Traffic4cast 数据集上达到最先进性能，并生成清晰、准确的视频预测，而无需分辨率保持模块。

ABSTRACT

Applying resolution-preserving blocks is a common practice to maximize information preservation in video prediction, yet their high memory consumption greatly limits their application scenarios. We propose CrevNet, a Conditionally Reversible Network that uses reversible architectures to build a bijective two-way autoencoder and its complementary recurrent predictor. Our model enjoys the theoretically guaranteed property of no information loss during the feature extraction, much lower memory consumption and computational efficiency.

研究动机与目标

• 为解决视频预测模型中分辨率保持模块带来的高内存和计算成本问题。
• 探索可逆架构在视频预测中的有效性，特别是针对密集时空生成任务。
• 设计一种条件可逆框架，确保在特征提取和预测过程中无信息丢失。
• 实现在 Traffic4cast 等大规模真实世界数据集上的高分辨率视频预测，这些数据集对标准分辨率保持模型而言是不可行的。

提出的方法

• CrevNet 使用基于加法耦合层的双向自编码器，通过前向和反向传递实现双射、体积保持的变换。
• 自编码器将输入特征按通道分割，应用交替的残差式更新并使用可学习卷积，确保可逆性以实现精确重建。
• 引入可逆预测模块（RPM），将可逆性扩展至时间域，利用 ConvRNN 和软注意力机制建模运动动态。
• RPM 通过可学习门控机制对特征和隐藏状态进行加权求和，实现在保持空间对齐的同时实现运动感知的特征传播。
• 整个模型仅使用一个双向自编码器同时完成编码和解码，无需跳跃连接或参数共享。
• 通过 RPM 预测的特征进行自编码器的反向传递实现预测，从而实现端到端的条件可逆性。

实验结果

研究问题

• RQ1 可逆架构能否有效应用于视频预测，以在保持信息完整的同时降低内存消耗？
• RQ2 将可逆性从空间域扩展到时间域是否能提升预测质量与训练稳定性？
• RQ3 条件可逆模型能否在高分辨率、真实世界视频预测基准（如 Traffic4cast）上实现最先进性能？
• RQ4 在缺乏分辨率保持模块的情况下，对具有长程运动和复杂动态的数据集性能有何影响？

主要发现

• CrevNet 在 Traffic4cast 数据集上实现了每像素 9.251×10⁻³ 的均方误差，优于先前方法，且仅使用单张 V100 GPU 训练。
• 该模型成功处理了高分辨率帧（495×436）和复杂的非线性动态，包括每帧最多 100 像素的长程车辆运动。
• 仅使用一个双向自编码器同时完成编码和解码，减少了模型参数量，并消除了对跳跃连接或特征共享的需求。
• 可逆架构确保了特征提取过程中无信息丢失，从而实现了具有精细细节的清晰、准确的视频预测。
• 在单个城市和时间步上进行微调可进一步提升性能，将均方误差从 9.392×10⁻³ 降低至 9.251×10⁻³。