[论文解读] InverseNet: Solving Inverse Problems with Splitting Networks

Kai Fan, Qi Wei+3 more|arXiv (Cornell University)|Dec 1, 2017

Sparse and Compressive Sensing Techniques参考文献 40被引用 6

一句话总结

InverseNet 提出了一种深度学习框架，将逆问题求解分解为两个联合训练的神经网络：一个用于反向求解物理前向模型（数据项），另一个用于对结果进行去噪/正则化（先验项）。该端到端方法在运动去模糊、超分辨率和图像着色任务中均取得了当前最优性能，尤其在环形伪影和联合超分辨率/着色等挑战性场景下表现优于现有方法。

ABSTRACT

We propose a new method that uses deep learning techniques to solve the inverse problems. The inverse problem is cast in the form of learning an end-to-end mapping from observed data to the ground-truth. Inspired by the splitting strategy widely used in regularized iterative algorithm to tackle inverse problems, the mapping is decomposed into two networks, with one handling the inversion of the physical forward model associated with the data term and one handling the denoising of the output from the former network, i.e., the inverted version, associated with the prior/regularization term. The two networks are trained jointly to learn the end-to-end mapping, getting rid of a two-step training. The training is annealing as the intermediate variable between these two networks bridges the gap between the input (the degraded version of output) and output and progressively approaches to the ground-truth. The proposed network, referred to as InverseNet, is flexible in the sense that most of the existing end-to-end network structure can be leveraged in the first network and most of the existing denoising network structure can be used in the second one. Extensive experiments on both synthetic data and real datasets on the tasks, motion deblurring, super-resolution, and colorization, demonstrate the efficiency and accuracy of the proposed method compared with other image processing algorithms.

研究动机与目标

• 为解决现有端到端深度学习方法在逆问题中的局限性，这些方法通常问题特定且缺乏可重用性。
• 通过将逆映射分解为两个可学习组件（前向模型反演与信号去噪）来提升泛化能力和效率。
• 实现两个网络的端到端联合训练，无需单独预训练，避免了两步优化方法的低效性。
• 处理具有挑战性的逆问题，如存在环形伪影的超分辨率任务以及从单波段图像中联合进行超分辨率与着色。

提出的方法

• 该方法将逆问题分解为两个神经网络：一个用于数据项的反演网络，另一个用于先验/正则化项的去噪网络。
• 反演网络通过反转物理前向模型 A，学习将退化测量映射回真实值空间。
• 去噪网络对反演网络的输出进行优化，将其投影到有效真实信号的流形上。
• 两个网络通过成对训练数据 (x_i, y_i) 联合训练，中间变量连接输入与输出，以支持训练过程中的退火策略。
• 该框架具有灵活性，可集成现有架构——任何标准的超分辨率或去噪网络均可作为组件使用。
• 训练过程采用退火策略，使中间表示逐步逼近真实值，从而提升优化稳定性。

实验结果

研究问题

• RQ1 是否一种将逆问题拆分为两个组件的深度学习框架，能在逆问题求解中表现优于端到端模型？
• RQ2 反演网络与去噪网络的联合训练是否优于两步训练或传统优化方法？
• RQ3 该方法在具有挑战性的逆问题（如存在环形伪影的超分辨率或联合超分辨率与着色）中泛化能力如何？
• RQ4 当输入存在严重退化（如严重混叠或色彩丢失）时，模型是否仍能恢复出自然的图像？

主要发现

• InverseNet 显著减少了超分辨率任务中的环形伪影，优于双三次插值和其他深度学习基线方法。
• 在 ImageNet 数据集上，InverseNet 在使用具有挑战性的 ×4 下采样算子（导致环形伪影）的 ×4 超分辨率任务中取得了更优性能。
• 在联合超分辨率与着色任务中，模型生成了视觉上自然的结果，甚至能将罕见或不现实的特征（如紫色头发）修正为更常见且合理的形态。
• 该模型在不同数据集上泛化良好，在 CelebA（人脸）和 CUB（野生鸟类）数据集上均生成了高质量结果，伪影极少且感知质量高。
• 消融实验表明，两个网络的联合训练性能优于独立训练或标准端到端学习。