[论文解读] MGANet: A Robust Model for Quality Enhancement of Compressed Video

Xiandong Meng, Xuan Deng+5 more|arXiv (Cornell University)|Nov 22, 2018

Advanced Image Processing Techniques参考文献 39被引用 25

一句话总结

MGANet 提出了一种鲁棒的多帧视频质量增强网络，通过双向残差卷积LSTM（BRCLSTM）和引导注意力编码-解码器，利用帧内先验信息和帧间时间信息来减少压缩伪影。该方法利用HEVC编码单元（TU）划分信息生成引导图，聚焦于块边界区域，显著提升了在多种码率条件下的视觉质量和鲁棒性，实现了最先进的PSNR增益。

ABSTRACT

In video compression, most of the existing deep learning approaches concentrate on the visual quality of a single frame, while ignoring the useful priors as well as the temporal information of adjacent frames. In this paper, we propose a multi-frame guided attention network (MGANet) to enhance the quality of compressed videos. Our network is composed of a temporal encoder that discovers inter-frame relations, a guided encoder-decoder subnet that encodes and enhances the visual patterns of target frame, and a multi-supervised reconstruction component that aggregates information to predict details. We design a bidirectional residual convolutional LSTM unit to implicitly discover frames variations over time with respect to the target frame. Meanwhile, the guided map is proposed to guide our network to concentrate more on the block boundary. Our approach takes advantage of intra-frame prior information and inter-frame information to improve the quality of compressed video. Experimental results show the robustness and superior performance of the proposed method.Code is available at https://github.com/mengab/MGANet

研究动机与目标

• 解决现有单帧和两步法多帧视频质量增强方法依赖显式运动估计且忽略帧内先验信息的局限性。
• 通过整合帧内结构先验和帧间时间依赖关系，提升压缩视频的鲁棒性和视觉质量。
• 探索将HEVC编码单元（TU）划分信息作为新型先验，用于引导块边界区域的增强。
• 开发一种完全卷积、端到端可训练的网络，无需显式运动补偿即可有效融合多帧信息。
• 构建用于帧内和帧间编码模式的TU划分训练数据库，以支持未来视频质量增强研究。

提出的方法

• 采用双向残差卷积LSTM（BRCLSTM）作为时间编码器，隐式建模目标帧相对于其他帧的帧间变化，避免对显式运动估计的依赖。
• 采用参数共享的引导编码-解码子网络处理目标帧，利用双通道输入（目标帧和引导图）以增强空间细节。
• 从HEVC TU划分信息生成引导图，突出显示块边界，引导网络关注易产生伪影的区域。
• 在多个特征层级应用多监督重建损失，以聚合上下文信息和高频细节，提升重建质量。
• 采用L1损失与感知损失相结合的方式端到端训练网络，以保持结构和视觉保真度。
• 模型支持任意输入帧数和尺寸，可灵活部署于不同长度的视频序列。

实验结果

研究问题

• RQ1 深度学习模型能否在不依赖显式运动估计的前提下，通过同时利用帧内和帧间先验信息，有效提升压缩视频质量？
• RQ2 将HEVC编码单元（TU）划分信息作为引导图引入后，对块边界区域伪影的减少效果如何？
• RQ3 最优的时间上下文（帧数）是多少？其对性能和计算成本的影响如何？
• RQ4 与早期融合和慢速融合等替代时间融合策略相比，BRCLSTM在保持时间连贯性和减少伪影方面表现如何？
• RQ5 所提方法在不同码率配置（如AI与LD）和视频内容类型下，其鲁棒性提升程度如何？

主要发现

• MGANet 在AI配置下实现平均PSNR增益 1.0049 dB（F3）和 1.1123 dB（F5），优于包括MFQE和DnCNN在内的SOTA方法。
• 在LD配置下，引导图组件使性能提升0.4041 dB（F5），证实其在增强块边界区域中的关键作用。
• 在AI配置下，BRCLSTM相比早期融合和慢速融合分别提升0.0575 dB（F3）和0.0407 dB（F5），表明其在建模时间动态方面的优越性。
• 即使在低码率（QP 37）下，模型仍保持高性能，主观评价显示其边缘更清晰，ringing和块效应显著少于ArcNN、VRCNN和MFQE。
• 5帧输入（F5）的推理速度约为18ms/帧，实现近实时处理，F3可达到约67帧/秒的输出速率，表明计算效率优异。
• 消融实验表明，所提方法在不同视频内容类型和码率配置下均具有鲁棒性，PSNR和主观质量均保持一致增益。