[论文解读] Image Reconstruction with Predictive Filter Flow

Shu Kong, Charless C. Fowlkes|arXiv (Cornell University)|Nov 28, 2018

Advanced Image Processing Techniques参考文献 48被引用 14

一句话总结

本文提出预测滤波器流（Predictive Filter Flow, PFF），一种新颖的深度学习框架，通过预测空间可变的线性滤波器来重建退化图像，在非均匀模糊去除、压缩伪影减少和超分辨率等图像重建任务中实现了最先进性能。该方法具有可解释性、速度快，且可通过自监督学习实现端到端训练，滤波器权重可显式可视化和控制，适用于科学与交互式应用。

ABSTRACT

We propose a simple, interpretable framework for solving a wide range of image reconstruction problems such as denoising and deconvolution. Given a corrupted input image, the model synthesizes a spatially varying linear filter which, when applied to the input image, reconstructs the desired output. The model parameters are learned using supervised or self-supervised training. We test this model on three tasks: non-uniform motion blur removal, lossy-compression artifact reduction and single image super resolution. We demonstrate that our model substantially outperforms state-of-the-art methods on all these tasks and is significantly faster than optimization-based approaches to deconvolution. Unlike models that directly predict output pixel values, the predicted filter flow is controllable and interpretable, which we demonstrate by visualizing the space of predicted filters for different tasks.

研究动机与目标

• 为解决基于优化的方法在图像重建中计算成本高的问题，以及数据驱动的CNN缺乏可解释性的问题。
• 开发一种统一的、可端到端训练的框架，适用于去模糊、伪影减少和超分辨率等多样化低层次视觉任务。
• 通过将变换建模为空间可变线性滤波器流，而非直接的像素级回归，实现可解释且可控的图像重建。
• 通过模拟退化过程（如模糊、压缩、下采样）实现自监督训练，生成大规模无人工标注的训练数据。

提出的方法

• 模型使用双流CNN分析退化输入图像，并为每个像素预测空间可变线性滤波器的权重。
• 将预测的滤波器权重应用于局部图像邻域，通过线性变换重建输出图像，类似于非均匀卷积。
• 通过预测输出与真实图像之间的重建损失（如L2或L1）进行网络训练，实现去模糊、超分辨率等任务的自监督学习。
• 滤波器流受Seitz和Baker原始工作的启发，但区别在于直接使用CNN回归滤波器权重，而非求解大规模优化问题。
• 该方法支持亮度局部守恒等约束，这些在标准图像到图像回归网络中难以实现。
• 通过k-means聚类、t-SNE和PCA对预测滤波器进行可视化，揭示了类似未锐化掩模、各向异性扩散和拉普拉斯类算子的可解释结构。

实验结果

研究问题

• RQ1 能否设计一种深度学习模型，通过预测空间可变滤波器，在保持可解释性和高效性的同时实现图像重建的最先进性能？
• RQ2 在不同图像重建任务中，预测的滤波器权重如何变化？其是否可被有意义地可视化和解释？
• RQ3 在图像重建任务中，使用合成退化过程进行自监督训练在多大程度上可替代对成对真实世界数据的需求？
• RQ4 滤波器流表示能否支持可控且物理上合理的图像变换，如边缘保持平滑或锐化？
• RQ5 与标准CNN中不透明的特征图相比，滤波器权重的可解释性在可靠性与科学实用性方面有何优势？

主要发现

• 在Set5和Set14数据集上，PFF模型在单图像超分辨率任务中实现了32.74 dB的PSNR和0.9021的SSIM，优于所有先前方法，包括RDN+和SRCNN。
• 在非均匀运动模糊去除任务中，PFF模型显著优于最先进方法，视觉结果表现出更锐利的边缘和更好的伪影抑制效果。
• 在JPEG压缩伪影减少任务中，模型有效恢复了高频细节并减少了块效应伪影，滤波器可视化显示其表现出自适应高通滤波行为。
• 预测的滤波器流在图像中变化平滑，不连续性与显著边缘和纹理对齐，类似于各向异性扩散或双边滤波。
• 主成分分析显示，10维主成分捕获了超过99.6%的滤波器能量，表明滤波器空间具有低维且结构化的表示。
• 通过t-SNE和k-means的可视化揭示，模型学习到了可解释的滤波器模式——如方向积分、未锐化掩模和拉普拉斯类响应——与图像恢复操作直接相关。