[论文解读] "Double-DIP": Unsupervised Image Decomposition via Coupled Deep-Image-Priors

Yossi Gandelsman, Assaf Shocher+1 more|arXiv (Cornell University)|Dec 2, 2018

Image Enhancement Techniques被引用 6

一句话总结

本文提出Double-DIP，一种基于耦合Deep-Image-Prior（DIP）网络的统一无监督框架，用于图像分解，可将单张图像分解为更简单、统计上不同的图层，且无需任何训练数据。通过利用图像块的内部自相似性，并联合优化两个DIP生成器与一个掩码，该方法在去雾、前景-背景分割、水印去除和透明度分离等任务中实现了最先进或具有竞争力的结果，甚至在未见图像上超越了专用方法。

ABSTRACT

Many seemingly unrelated computer vision tasks can be viewed as a special case of image decomposition into separate layers. For example, image segmentation (separation into foreground and background layers); transparent layer separation (into reflection and transmission layers); Image dehazing (separation into a clear image and a haze map), and more. In this paper we propose a unified framework for unsupervised layer decomposition of a single image, based on coupled "Deep-image-Prior" (DIP) networks. It was shown [Ulyanov et al] that the structure of a single DIP generator network is sufficient to capture the low-level statistics of a single image. We show that coupling multiple such DIPs provides a powerful tool for decomposing images into their basic components, for a wide variety of applications. This capability stems from the fact that the internal statistics of a mixture of layers is more complex than the statistics of each of its individual components. We show the power of this approach for Image-Dehazing, Fg/Bg Segmentation, Watermark-Removal, Transparency Separation in images and video, and more. These capabilities are achieved in a totally unsupervised way, with no training examples other than the input image/video itself.

研究动机与目标

• 将去雾、分割和透明度分离等多样化的图像分解任务统一在一个无监督框架下。
• 解决在无任何标注或成对训练数据的情况下，将单张图像分解为其组成图层的挑战。
• 利用图像块的内部自相似性，即单个图层的统计复杂度低于混合输入图像。
• 开发一种通用方法，在去雾等关键任务中表现优于或匹配专用的最先进方法。

提出的方法

• 使用两个Deep-Image-Prior（DIP）生成器网络，联合从两个独立图层重建输入图像，其中可微分掩码控制其混合。
• 将重建表述为最小化重建图像与输入图像之间的MSE损失，其中重建图像为两个DIP输出的掩码加权和。
• 利用混合图像的内部块分布比其单个组分更复杂的事实，使DIP能够自然地分离为更简单的图层。
• 对大气光图层施加正则化损失，以强制实现平滑性并靠近初始全局大气光估计，这对非均匀雾霾恢复至关重要。
• 对掩码施加基于拉普拉斯的正则化，以促进空间平滑性，尤其在去雾任务中，传输图应保持平滑。
• 使用随机梯度下降端到端训练耦合DIP，无需成对或标注数据——仅使用输入图像作为监督信号。

实验结果

研究问题

• RQ1 一个统一的无监督框架能否仅利用单张图像的内部统计特性，实现对去雾、分割、透明度等多样化图像分解任务的分解？
• RQ2 通过利用混合图层与单个图层之间内部块复杂度的差异，耦合多个DIP网络是否能实现优于单个DIP的分解效果？
• RQ3 Double-DIP能否在去雾任务中恢复非均匀大气光图，从而超越假设大气光均匀的方法？
• RQ4 在分布外图像上，Double-DIP与专用的最先进去雾方法相比，在视觉质量和鲁棒性方面表现如何？
• RQ5 该框架能否在无需任务特定微调或标注数据的情况下，实现跨任务的泛化？

主要发现

• 在O-HAZE数据集上，Double-DIP的PSNR达到18.815，位列所有去雾方法中的第二名，且在未见图像上的视觉质量甚至超越了最先进方法。
• Double-DIP成功恢复了非均匀大气光图，使得在挑战性光照条件（如黎明/黄昏）下实现高质量去雾成为可能，而均匀大气光假设在此类场景下会失效。
• 在分布外图像上，该方法优于或匹配专用去雾网络的表现，而后者往往在NTIRE’2018等基准测试集的有限测试集上出现过拟合。
• Double-DIP在多个无监督任务中表现优异——包括前景-背景分割、水印去除和透明度分离——且无需任何训练数据。
• 该框架证明，通过耦合DIP，可以有效利用内部自相似性和块重复性，以统一、端到端的方式解决广泛的逆问题。
• 添加一项使大气光图层保持接近初始估计的正则化项，显著提升了去雾质量，尤其在色彩保真度和伪影减少方面。