[论文解读] End-to-end Alternating Optimization for Blind Super Resolution

Zhengxiong Luo, Yan Huang+3 more|arXiv (Cornell University)|May 14, 2021

Advanced Image Processing Techniques参考文献 50被引用 30

一句话总结

论文提出了一种深度交替网络（DAN），在端到端、迭代展开的框架中联合估计模糊核并恢复盲超分辨率图像，改善估计与重建之间的耦合，并在高速度下达到与最先进结果相当的性能。

ABSTRACT

Previous methods decompose the blind super-resolution (SR) problem into two sequential steps: extit{i}) estimating the blur kernel from given low-resolution (LR) image and extit{ii}) restoring the SR image based on the estimated kernel. This two-step solution involves two independently trained models, which may not be well compatible with each other. A small estimation error of the first step could cause a severe performance drop of the second one. While on the other hand, the first step can only utilize limited information from the LR image, which makes it difficult to predict a highly accurate blur kernel. Towards these issues, instead of considering these two steps separately, we adopt an alternating optimization algorithm, which can estimate the blur kernel and restore the SR image in a single model. Specifically, we design two convolutional neural modules, namely extit{Restorer} and extit{Estimator}. extit{Restorer} restores the SR image based on the predicted kernel, and extit{Estimator} estimates the blur kernel with the help of the restored SR image. We alternate these two modules repeatedly and unfold this process to form an end-to-end trainable network. In this way, extit{Estimator} utilizes information from both LR and SR images, which makes the estimation of the blur kernel easier. More importantly, extit{Restorer} is trained with the kernel estimated by extit{Estimator}, instead of the ground-truth kernel, thus extit{Restorer} could be more tolerant to the estimation error of extit{Estimator}. Extensive experiments on synthetic datasets and real-world images show that our model can largely outperform state-of-the-art methods and produce more visually favorable results at a much higher speed. The source code is available at \url{https://github.com/greatlog/DAN.git}.

研究动机与目标

• 提出在每张图像的模糊核未知且可变的条件下进行盲超分辨率的动机。
• 提出一个端到端架构，在同一模型内交替进行核估计和SR重建。
• 提高核估计与SR重建之间的兼容性，以减少误差传播。
• 在合成和真实图像上展示优越的定量与定性性能，同时提升速度。

提出的方法

• 引入两个CNN模块：Estimator（核估计器）和Restorer（SR重建器）。
• 将盲SR表述为一个交替优化问题，并将其展开成一个可训练网络（DAN），在各迭代之间共享参数。
• 使用Dual-Path Conditional Block（DPCB）和Dual-Path Conditional Group（DPCG）在不进行大规模拼接的情况下高效融合基本输入与条件输入。
• 用Softmax预测完整的模糊核以强制核和为一。
• 使用端到端训练，最后一轮监督，同时将中间结果设定为不受约束以促进收敛。
• 在实际中采用4次固定交替迭代，并用Dirac delta初始化核，重新整形并经过PCA降维后输入模型。

实验结果

研究问题

• RQ1 一个端到端网络是否能比两步方法更有效地联合估计模糊核并执行盲SR？
• RQ2 来自LR和SR图像的信息是否有助于 Estimator 更好地预测核，且当共同训练时 Restorer 能否容忍 Estimator 的误差？
• RQ3 如 Dual-Path Conditional Block 这样的体系结构创新是否提升 Estimator 与 Restorer 的性能和效率？
• RQ4 在最终 SR 质量上，对 Estimator 使用完整核与降维核的监督有什么影响？
• RQ5 DAN 的变体在各向同性高斯与不规则模糊降解下的表现如何？

主要发现

• 端到端的DAN结合交替优化，在合成数据上（显著超过IKC）以及在真实图像上，显著超过了最先进的两步盲SR方法。
• DANv1 已在 Urban100 的尺度 3 上比 IKC 高出 3.22 dB，体现了端到端训练的价值。
• DANv2，具备 Dual-Path Conditional Block（DPCB）和改进的 Estimator 监督，进一步提升了结果，在尺度 4 上比 DANv1 高出 1.19 dB。
• 双路设计加速推理并稳定训练，获得更高的速度和更鲁棒的核/HR估计。
• Estimator 现在对完整核进行监督（而非降维空间），并且 Softmax 确保核元素和为1，改善核的真实感和收敛性。
• 模型能够有效地利用来自 LR 和 SR 图像的信息来估计核，使整个系统对估计误差更具容错性。