[论文解读] Training Image Estimators without Image Ground-Truth

Zhihao Xia, Ayan Chakrabarti|arXiv (Cornell University)|Jun 13, 2019

Advanced Image Processing Techniques参考文献 35被引用 9

一句话总结

本文提出一种无监督深度学习框架，通过强制同一图像的两种不同测量结果之间的预测一致性，仅使用测量对（无真实图像）来训练图像估计网络。该方法在压缩感知和盲去卷积任务中实现了几乎与完全监督训练相当的性能，即使在训练时测量参数（如模糊核）未知的情况下，也通过代理监督机制联合训练图像和参数估计器。

ABSTRACT

Deep neural networks have been very successful in image estimation applications such as compressive-sensing and image restoration, as a means to estimate images from partial, blurry, or otherwise degraded measurements. These networks are trained on a large number of corresponding pairs of measurements and ground-truth images, and thus implicitly learn to exploit domain-specific image statistics. But unlike measurement data, it is often expensive or impractical to collect a large training set of ground-truth images in many application settings. In this paper, we introduce an unsupervised framework for training image estimation networks, from a training set that contains only measurements---with two varied measurements per image---but no ground-truth for the full images desired as output. We demonstrate that our framework can be applied for both regular and blind image estimation tasks, where in the latter case parameters of the measurement model (e.g., the blur kernel) are unknown: during inference, and potentially, also during training. We evaluate our method for training networks for compressive-sensing and blind deconvolution, considering both non-blind and blind training for the latter. Our unsupervised framework yields models that are nearly as accurate as those from fully supervised training, despite not having access to any ground-truth images.

研究动机与目标

• 解决在大规模真实图像难以获取或成本过高的情况下，训练深度图像估计网络的挑战。
• 开发一种仅依赖同一基础图像的测量对、无需真实图像的无监督训练框架。
• 将该方法扩展至测量参数（如模糊核）在训练期间未知的盲设置场景。
• 证明基于一致性的监督可实现几乎与完全监督基线相当的模型精度，即使完全无真实图像。
• 使深度学习在医学成像和天文学等真实数据稀缺的领域中得以应用。

提出的方法

• 该方法通过强制一致性来训练深度图像估计器网络：从一种测量中得到的预测，必须与使用对应测量参数重新观测时的另一种测量结果保持一致。
• 在非盲设置中，测量参数（如压缩矩阵或模糊核）已知，并用于计算交换测量损失和自测量损失。
• 在盲设置中，图像估计器与独立的参数估计器网络联合训练，使用在训练过程中由图像网络自身预测生成的动态代理训练集。
• 代理数据集通过使用随机采样的已知参数，从预测图像中合成生成测量结果，为图像和参数估计器提供监督信号。
• 该框架采用共享编码器结构，并为参数估计增加独立解码路径，实现在盲设置下的端到端训练。
• 损失函数包括基于测量一致性的损失，以及在非盲和盲设置中均能提升训练稳定性和性能的代理损失。

实验结果

研究问题

• RQ1 是否可以仅依赖同一图像的测量对，而无需任何真实图像，有效训练图像估计网络？
• RQ2 基于一致性的监督在图像重建和去卷积任务中与完全监督训练相比表现如何？
• RQ3 该方法能否在测量参数训练时未知的盲设置中实现泛化？
• RQ4 在缺乏真实数据的情况下，引入代理监督机制对模型性能有何影响？
• RQ5 该框架能否在压缩感知和盲去卷积等成像任务中实现最小数据需求下的有效应用？

主要发现

• 在Helen人脸去卷积数据集上，无监督方法实现了25.95 dB的PSNR和0.878的SSIM，与监督基线（26.13 dB PSNR，0.886 SSIM）非常接近。
• 在非盲训练中，若移除代理损失，性能下降至25.47 dB PSNR，表明其在无真实监督下维持精度的关键作用。
• 在盲训练设置下，Helen数据集上实现了25.93 dB PSNR和0.876 SSIM，尽管未访问真实图像或模糊核，仍几乎匹配监督基线性能。
• 图3的定性结果表明，无监督模型的去卷积输出在视觉上与监督基线及最先进方法相当。
• 图4中可视化显示，盲训练过程中学习到的核估计器能成功预测模糊核，从而实现准确的测量一致性约束。
• 该方法使在医学和天文成像等真实数据稀缺领域中训练高性能图像估计网络成为可能，这些领域难以获取真实图像。