[论文解读] Dictionary Learning for Deblurring and Digital Zoom

Florent Couzinié-Devy, Julien Mairal+2 more|arXiv (Cornell University)|Oct 5, 2011

Image and Signal Denoising Methods参考文献 2被引用 26

一句话总结

本文提出了一种用于非盲图像去模糊和数字变焦的判别式字典学习方法，利用成对的模糊/清晰或低/高分辨率图像块进行训练，以学习任务特定的字典。通过将稀疏编码与线性预测器结合，并采用随机梯度下降进行优化，该方法在合成数据和真实数据上均取得了当前最优的性能，优于先前的方法，包括Yang等人提出的双字典方法。

ABSTRACT

This paper proposes a novel approach to image deblurring and digital zooming using sparse local models of image appearance. These models, where small image patches are represented as linear combinations of a few elements drawn from some large set (dictionary) of candidates, have proven well adapted to several image restoration tasks. A key to their success has been to learn dictionaries adapted to the reconstruction of small image patches. In contrast, recent works have proposed instead to learn dictionaries which are not only adapted to data reconstruction, but also tuned for a specific task. We introduce here such an approach to deblurring and digital zoom, using pairs of blurry/sharp (or low-/high-resolution) images for training, as well as an effective stochastic gradient algorithm for solving the corresponding optimization task. Although this learning problem is not convex, once the dictionaries have been learned, the sharp/high-resolution image can be recovered via convex optimization at test time. Experiments with synthetic and real data demonstrate the effectiveness of the proposed approach, leading to state-of-the-art performance for non-blind image deblurring and digital zoom.

研究动机与目标

• 通过引入用于去模糊和数字变焦的判别式字典学习方法，解决生成模型在图像恢复中的局限性。
• 通过学习直接将低质量图像块映射到高质量对应块的任务特定字典，提升图像恢复性能。
• 通过使用随机梯度下降，在大规模图像块数据库上实现高效训练，使该方法可扩展至数百万张图像块。
• 通过将稀疏编码与线性预测器结合，在非盲去模糊和数字变焦任务中实现卓越性能。

提出的方法

• 该方法学习两个任务特定的字典：一个用于低分辨率（模糊）图像块，另一个用于高分辨率（清晰）图像块，使用成对的训练数据。
• 将恢复问题表述为判别式学习任务，其中线性预测器将低分辨率图像块的稀疏表示映射到对应的高分辨率图像块。
• 通过随机梯度下降算法求解优化问题，实现在大规模图像块数据库上的高效训练。
• 该方法使用稀疏编码，将每个低分辨率图像块表示为从学习到的字典中选取的少数原子的线性组合。
• 在测试阶段，通过凸优化实现高分辨率图像的重建，确保稳定性和高效性。
• 该方法在合成数据和真实世界数据（包括天文图像和手机拍摄图像）上均进行了验证。

实验结果

研究问题

• RQ1 判别式字典学习框架是否能在图像去模糊和数字变焦任务中超越生成模型？
• RQ2 将线性预测器与字典学习结合，相较于标准的稀疏编码方法，能否显著提升恢复性能？
• RQ3 随机梯度下降在多大程度上能够实现在大规模图像块数据库上的可扩展训练？
• RQ4 所提出的方法是否在真实世界和合成数据上的非盲去模糊与数字变焦任务中实现了当前最优性能？

主要发现

• 在Lena图像上，该方法在2倍数字变焦下实现了33.31的PSNR，优于Yang等人方法（无反投影时为32.13，使用反投影时为33.06）。
• 在Girl图像上，该方法实现了32.00的PSNR，超过Yang等人使用反投影的最佳结果31.93。
• 在Flower图像上，该方法实现了39.92的PSNR，显著优于Yang等人使用反投影的39.59。
• 定性结果表明，该方法生成的纹理和边缘比Fattal等人更清晰，在纹理区域的表现与Glasdner等人相当，且伪影更少。
• 由于在成对数据上进行判别式训练，该方法对亚像素错位和抗混叠差异表现出鲁棒性。
• 将线性预测器与任务特定字典结合，相较于仅使用字典的方法，带来了显著的性能提升。