[论文解读] ARVo: Learning All-Range Volumetric Correspondence for Video Deblurring

Dongxu Li, Chenchen Xu+6 more|arXiv (Cornell University)|Mar 7, 2021

Advanced Image Processing Techniques参考文献 47被引用 4

一句话总结

本文提出 ARVo，一种新颖的视频去模糊方法，通过在特征空间中使用相关体积金字塔来学习全范围体素对应关系，以处理快速运动引起的大幅位移。通过结合隐式特征对应与渐进式生成对抗训练，并引入一个新的高帧率数据集（HFR-DVD），ARVo 在 DVD 和 HFR-DVD 数据集上均达到最先进性能，无论在定量指标还是视觉质量方面均优于先前方法。

ABSTRACT

Video deblurring models exploit consecutive frames to remove blurs from camera shakes and object motions. In order to utilize neighboring sharp patches, typical methods rely mainly on homography or optical flows to spatially align neighboring blurry frames. However, such explicit approaches are less effective in the presence of fast motions with large pixel displacements. In this work, we propose a novel implicit method to learn spatial correspondence among blurry frames in the feature space. To construct distant pixel correspondences, our model builds a correlation volume pyramid among all the pixel-pairs between neighboring frames. To enhance the features of the reference frame, we design a correlative aggregation module that maximizes the pixel-pair correlations with its neighbors based on the volume pyramid. Finally, we feed the aggregated features into a reconstruction module to obtain the restored frame. We design a generative adversarial paradigm to optimize the model progressively. Our proposed method is evaluated on the widely-adopted DVD dataset, along with a newly collected High-Frame-Rate (1000 fps) Dataset for Video Deblurring (HFR-DVD). Quantitative and qualitative experiments show that our model performs favorably on both datasets against previous state-of-the-art methods, confirming the benefit of modeling all-range spatial correspondence for video deblurring.

研究动机与目标

• 为解决显式对齐方法（如光流和单应性变换）在处理快速运动引起的大幅位移时的局限性，以应对视频去模糊中的挑战。
• 开发一种隐式对应学习机制，以捕捉跨帧的长距离空间依赖关系，而无需依赖运动估计。
• 通过多尺度相关体积金字塔，从邻近帧聚合上下文信息，同时在参考帧中保持高分辨率特征，从而提升重建质量。
• 通过渐进式训练结合生成对抗框架，提升时间一致性与视觉质量。

提出的方法

• 通过在特征空间中匹配参考帧与邻近帧之间的所有像素对，构建相关体积金字塔，实现全范围对应关系学习。
• 设计相关聚合模块，通过在全空间范围内最大化与邻近特征的相关性，增强参考帧的特征表示。
• 保持参考帧的空间分辨率，仅对邻近帧的特征进行下采样，以保留细粒度细节。
• 采用渐进式训练方案，其中每一阶段使用前一阶段的恢复帧作为输入，逐步提升重建质量。
• 在生成对抗训练范式中引入时间一致性损失，其中判别器用于区分真实清晰帧序列与生成帧序列。
• 使用多尺度相关体积以扩大感受野，同时保留高分辨率细节，避免先前方法中局部感受野的局限性。

Figure 2 : Overview of the proposed video deblurring pipeline. Our method first warps the neighboring frame to the reference frame for feature extraction. Then it computes all-range volumetric correspondence between the reference and neighboring frames as a correlation volume pyramid. Next, it relie

实验结果

研究问题

• RQ1 在大幅位移场景下，隐式特征空间对应学习是否能优于基于显式运动的对齐方法？
• RQ2 在跨帧中建模全范围像素对相关性，如何提升快速运动场景下的去模糊性能？
• RQ3 通过对抗监督进行渐进式训练，在多大程度上能增强视频去模糊的时间一致性和视觉质量？
• RQ4 与基于光流或单应性变换的对齐方法相比，所提出的相关体积金字塔在鲁棒性和准确性方面表现如何？
• RQ5 使用高帧率数据集（1000 fps）对评估和提升视频去模糊模型有何影响？

主要发现

• 在 DVD 数据集上，ARVo 达到 PSNR 32.80 和 SSIM 0.9352，优于先前最先进方法。
• 在新引入的 HFR-DVD 数据集上，ARVo 展现出更优的定性结果，尤其在处理快速运动模糊时，表现出更高的视觉一致性和细节恢复能力。
• 消融实验表明，结合基于光流的对齐与相关体积对齐可取得最佳性能（PSNR: 32.80，SSIM: 0.9352），证明二者具有互补性。
• 与单阶段训练相比，采用两阶段渐进式训练使 PSNR 提升 0.52 dB，且超过两阶段后收益递减。
• 生成对抗训练显著提升了帧间视觉一致性，如定性对比所示；尽管 PSNR 仅微降 0.01，表明其在感知质量上具有优势。
• 特征可视化结果证实，相关聚合模块能有效优化高度模糊区域，同时保留较清晰区域，实现针对性的特征增强。

Figure 3 : Illustration of the correlative aggregation module, which aggregates the features for the reference frame based on the normalized correlation volume.