[论文解读] Dual Pixel Exploration: Simultaneous Depth Estimation and Image Restoration

Liyuan Pan, S. A. H. Chowdhury+4 more|arXiv (Cornell University)|Dec 1, 2020

Image Processing Techniques and Applications参考文献 38被引用 4

一句话总结

本文提出 DDDNet，一种端到端深度学习框架，通过建模双像素（DP）传感器的物理成像过程，联合估计逆深度图并从双像素（DP）图像对中恢复清晰图像。它引入了一种基于数学DP模型的重模糊损失，用于正则化深度估计，从而在深度估计和去模糊两方面均实现优越性能，在合成与真实数据集上均取得当前最优结果。

ABSTRACT

The dual-pixel (DP) hardware works by splitting each pixel in half and creating an image pair in a single snapshot. Several works estimate depth/inverse depth by treating the DP pair as a stereo pair. However, dual-pixel disparity only occurs in image regions with the defocus blur. The heavy defocus blur in DP pairs affects the performance of matching-based depth estimation approaches. Instead of removing the blur effect blindly, we study the formation of the DP pair which links the blur and the depth information. In this paper, we propose a mathematical DP model which can benefit depth estimation by the blur. These explorations motivate us to propose an end-to-end DDDNet (DP-based Depth and Deblur Network) to jointly estimate the depth and restore the image. Moreover, we define a reblur loss, which reflects the relationship of the DP image formation process with depth information, to regularise our depth estimate in training. To meet the requirement of a large amount of data for learning, we propose the first DP image simulator which allows us to create datasets with DP pairs from any existing RGBD dataset. As a side contribution, we collect a real dataset for further research. Extensive experimental evaluation on both synthetic and real datasets shows that our approach achieves competitive performance compared to state-of-the-art approaches.

研究动机与目标

• 为解决双像素（DP）图像对中基线过低与严重散焦模糊的问题，这些问题会降低立体匹配与深度估计的性能。
• 利用双像素传感器中散焦模糊、深度与图像形成之间的内在关联，而非将模糊视为噪声处理。
• 开发一种端到端深度网络，从单张DP快照中联合估计逆深度与恢复清晰图像。
• 构建一种可微分的DP图像模拟器，能够从任意RGB-D数据集生成逼真的DP图像对，以支持大规模训练。
• 收集一个真实世界中的DP数据集，以支持后续在深度估计与图像恢复方面的研究。

提出的方法

• 建立一个数学化的DP模型，通过双像素传感器的成像过程，显式关联深度、散焦模糊与全清晰图像。
• 设计DDDNet，一种联合编码-解码网络，以DP图像对为输入，端到端输出去模糊图像与逆深度图。
• 提出一种基于DP模型的重模糊损失，通过从估计的深度与去模糊图像重建输入DP图像，以在训练过程中正则化深度预测。
• 开发一种可微分的DP图像模拟器，通过应用与深度相关的模糊与子孔径采样，从任意现有RGB-D数据集生成合成DP图像对。
• 使用模拟器生成的合成数据训练DDDNet，并在真实数据上进行微调，利用重模糊损失实现自监督适应。
• 将重模糊损失用作自监督信号，实现在无真实深度监督下的域泛化与微调。

实验结果

研究问题

• RQ1 能否利用双像素传感器的物理成像模型，同时提升深度估计与图像去模糊的性能？
• RQ2 如何将DP图像对中的散焦模糊作为信号而非噪声源，用于深度估计？
• RQ3 可微分的DP图像模拟器能否生成逼真的训练数据，从而实现对真实世界场景的泛化？
• RQ4 基于DP模型的重模糊损失是否能带来更精确的深度与去模糊预测？
• RQ5 所提方法能否在无需微调的情况下泛化至真实数据集？自监督微调结合重模糊损失的效果如何？

主要发现

• 在合成的DPD-blur数据集上，DDDNet结合重模糊损失在微调后达到PSNR 26.92 dB、SSIM 0.864与RMSE_rel 4.51%，优于直接在相同数据上训练的模型。
• 重模糊损失使去模糊性能相对提升约10%：在DeblurNet中使用该损失后，RMSE_rel由0.091降至0.083。
• 在合成DP模拟器上训练的模型对真实数据泛化良好：仅在DPD-blur数据集一半数据上微调20个epoch后，PSNR达26.52 dB，SSIM达0.822。
• 在DPD-disp数据集上，该模型在未微调情况下达到第二好的性能，经自监督微调后进一步提升，优于多个当前最优方法。
• 图8的定性结果表明，与DPDNet、BTS和DPdisp等基线方法相比，DDDNet生成的去模糊图像更清晰，逆深度图更准确。
• 图8（m）与（n）中的误差分布表明，DDDNet的逆深度预测始终比对比方法更接近真实值。