[论文解读] Super-Resolution with Deep Convolutional Sufficient Statistics

Joan Bruna, Pablo Sprechmann+1 more|arXiv (Cornell University)|Nov 18, 2015

Advanced Image Processing Techniques参考文献 34被引用 85

一句话总结

本文提出了一种用于图像超分的深度卷积充分统计量模型，通过使用CNN提取的特征作为充分统计量，结合Gibbs分布来捕捉多模态的高频内容，从而减少回归到均值的问题。该方法通过建模稳定且对形变不变的特征来表征不确定性，从而在点估计之外提升感知质量，尽管计算成本更高，但仍能实现更锐利的纹理。

ABSTRACT

Inverse problems in image and audio, and super-resolution in particular, can be seen as high-dimensional structured prediction problems, where the goal is to characterize the conditional distribution of a high-resolution output given its low-resolution corrupted observation. When the scaling ratio is small, point estimates achieve impressive performance, but soon they suffer from the regression-to-the-mean problem, result of their inability to capture the multi-modality of this conditional distribution. Modeling high-dimensional image and audio distributions is a hard task, requiring both the ability to model complex geometrical structures and textured regions. In this paper, we propose to use as conditional model a Gibbs distribution, where its sufficient statistics are given by deep convolutional neural networks. The features computed by the network are stable to local deformation, and have reduced variance when the input is a stationary texture. These properties imply that the resulting sufficient statistics minimize the uncertainty of the target signals given the degraded observations, while being highly informative. The filters of the CNN are initialized by multiscale complex wavelets, and then we propose an algorithm to fine-tune them by estimating the gradient of the conditional log-likelihood, which bears some similarities with Generative Adversarial Networks. We evaluate experimentally the proposed approach in the image super-resolution task, but the approach is general and could be used in other challenging ill-posed problems such as audio bandwidth extension.

研究动机与目标

• 为解决单图像超分中的回归到均值问题，通过建模高分辨率图像的条件分布而非依赖点估计。
• 开发一种可扩展的结构化推理框架，以捕捉高分辨率图像中的复杂纹理和几何结构。
• 通过深度CNN提取的非线性充分统计量编码高频内容中的不确定性，从而提升感知质量。
• 通过使用多尺度复数小波初始化CNN滤波器并利用条件对数似然梯度估计进行微调，实现稳定且高保真的细节重建。

提出的方法

• 建模条件分布 $ p(y|x) \propto \exp(-\|\Phi(x) - \Psi(y)\|^2) $，其中 $ \Phi(x) $ 和 $ \Psi(y) $ 为作为充分统计量的深度CNN特征。
• 使用滤波器由多尺度复数小波初始化的深度CNN，以确保对局部形变的稳定性并降低平稳纹理中的方差。
• 采用一种微调算法，通过估计条件对数似然的梯度，类似于生成对抗网络的思路，使特征适应数据。
• 在测试时通过求解非凸优化问题执行推理，以生成与观测到的低分辨率输入和学习到的充分统计量一致的样本。
• 利用散射网络作为预训练初始化，在端到端微调前提供具有几何意义的特征。
• 采用条件似然的代理目标，以在精确似然计算不可行的情况下实现训练。

实验结果

研究问题

• RQ1 基于深度CNN的充分统计量能否在超分中建模多模态分布，从而优于点估计？
• RQ2 如何学习到稳定且对形变不变的特征，以表示高频图像内容？
• RQ3 基于小波的初始化能否提升超分中重建纹理的质量与一致性？
• RQ4 优化条件对数似然是否能带来优于基于MSE训练的感知质量？
• RQ5 在实际应用中，结构化推理的计算成本与前馈点估计相比如何？

主要发现

• 与基线CNN相比，所提模型显著减少了回归到均值的伪影，在视觉结果中产生了更锐利的高频内容。
• 通过条件对数似然梯度估计对散射网络滤波器进行微调，提升了重建质量并减少了纹理区域的伪影。
• 该方法即使在PSNR较低的情况下，仍优于MSE优化的点估计，表明其具有更高的视觉真实感。
• 推理步骤计算成本较高：使用散射特征生成 $200 \times 200$ 尺寸的 $\times3$ 超分图像需5.26秒，而基线CNN仅需0.1秒。
• 尽管有所改进，该模型在极细微纹理上仍会产生人工高频内容，表明其在建模极端细节方面存在局限。
• 该方法通过中间CNN层中的相位组合显式且可解释地表征了不确定性，从而实现了相干的高频重建。