[论文解读] DAVANet: Stereo Deblurring with View Aggregation

Shangchen Zhou, Jiawei Zhang+4 more|arXiv (Cornell University)|Apr 10, 2019

Advanced Image Processing Techniques参考文献 45被引用 6

一句话总结

DAVANet 提出了一种端到端的立体去模糊网络，通过利用深度感知和视角聚合，有效去除动态场景中复杂的空间变化模糊。通过在统一的融合网络中联合优化双向视差估计与图像去模糊，DAVANet 在新提出的包含 20,637对图像的大规模立体去模糊数据集上，实现了在精度、速度和模型效率方面的最先进性能。

ABSTRACT

Nowadays stereo cameras are more commonly adopted in emerging devices such as dual-lens smartphones and unmanned aerial vehicles. However, they also suffer from blurry images in dynamic scenes which leads to visual discomfort and hampers further image processing. Previous works have succeeded in monocular deblurring, yet there are few studies on deblurring for stereoscopic images. By exploiting the two-view nature of stereo images, we propose a novel stereo image deblurring network with Depth Awareness and View Aggregation, named DAVANet. In our proposed network, 3D scene cues from the depth and varying information from two views are incorporated, which help to remove complex spatially-varying blur in dynamic scenes. Specifically, with our proposed fusion network, we integrate the bidirectional disparities estimation and deblurring into a unified framework. Moreover, we present a large-scale multi-scene dataset for stereo deblurring, containing 20,637 blurry-sharp stereo image pairs from 135 diverse sequences and their corresponding bidirectional disparities. The experimental results on our dataset demonstrate that DAVANet outperforms state-of-the-art methods in terms of accuracy, speed, and model size.

研究动机与目标

• 为解决动态场景中存在空间变化模糊时缺乏有效立体图像去模糊方法的问题。
• 利用立体特有的线索——深度信息与视间差异，以提升模糊核估计的准确性。
• 开发一种统一的深度学习框架，联合优化视差估计与图像去模糊。
• 构建一个大规模、多场景的立体去模糊数据集，以支持未来研究。

提出的方法

• 提出统一的网络架构 DAVANet，整合 DeblurNet 用于图像去模糊，以及 DispBiNet 用于双向视差估计。
• 引入 FusionNet，融合来自两幅图像的特征以及视差感知表示，以增强去模糊特征。
• 采用使用不同空洞率的并行空洞卷积的上下文模块，以捕捉多尺度上下文信息。
• 采用多阶段训练策略，联合优化去模糊与视差估计损失。
• 采用基于帧插值与平均的模糊生成方法，从高帧率序列中合成逼真的立体模糊。
• 利用 ZED 立体相机采集真实世界的立体序列，并生成对应的高精度清晰图像与视差图。

实验结果

研究问题

• RQ1 来自立体视差的深度感知特征是否能提升动态场景中空间变化模糊估计的准确性？
• RQ2 如何有效利用立体图像对之间模糊的视间差异来实现去模糊？
• RQ3 联合优化去模糊与视差估计是否能带来优于串行或独立方法的性能？
• RQ4 多尺度上下文建模在复杂场景中在多大程度上提升了去模糊质量？
• RQ5 与当前最先进的单目去模糊方法相比，该方法在速度、精度和模型大小方面表现如何？

主要发现

• DAVANet 在所提出的立体去模糊数据集上实现了 33.19 的 PSNR 和 0.9586 的 SSIM，优于当前最先进方法。
• 消融实验表明，所有组件——上下文模块、深度感知与视角聚合——均对性能有显著贡献，完整模型达到最高 PSNR 与 SSIM。
• 仅使用上下文模块的模型实现 31.40 的 PSNR，证明其在捕捉多尺度上下文方面的有效性。
• 不使用深度感知（w/o DA）的模型实现 32.69 的 PSNR，表明深度信息相比单图基线方法提供了显著提升。
• 不使用视角聚合（w/o VA）的模型实现 32.53 的 PSNR，表明视间特征融合进一步提升了去模糊质量。
• 与现有基于 CNN 的去模糊方法相比，DAVANet 实现了更优的推理速度与更小的模型尺寸，采用高效的 3×3 卷积，无大核或循环层。