[论文解读] Deep Learning for Inverse Problems: Bounds and Regularizers

Jaweria Amjad, Zhaoyan Lyu+1 more|arXiv (Cornell University)|Jan 31, 2019

Sparse and Compressive Sensing Techniques参考文献 33被引用 5

一句话总结

本文提出了一种针对回归任务中深度神经网络的新型泛化界，特别针对反问题，基于网络雅可比矩阵的谱范数。该研究推导出计算高效的正则化策略（如权重正交化和雅可比正交化），在图像超分辨率和重建任务中，其性能优于标准权重衰减。

ABSTRACT

Inverse problems arise in a number of domains such as medical imaging, remote sensing, and many more, relying on the use of advanced signal and image processing approaches -- such as sparsity-driven techniques -- to determine their solution. This paper instead studies the use of deep learning approaches to approximate the solution of inverse problems. In particular, the paper provides a new generalization bound, depending on key quantity associated with a deep neural network -- its Jacobian matrix -- that also leads to a number of computationally efficient regularization strategies applicable to inverse problems. The paper also tests the proposed regularization strategies in a number of inverse problems including image super-resolution ones. Our numerical results conducted on various datasets show that both fully connected and convolutional neural networks regularized using the regularization or proxy regularization strategies originating from our theory exhibit much better performance than deep networks regularized with standard approaches such as weight-decay.

研究动机与目标

• 为回归任务中的深度神经网络，特别是反问题，开发泛化误差界。
• 识别影响反问题中泛化性能的关键网络特性，特别是雅可比矩阵的谱范数。
• 基于理论边界推导计算高效的正则化策略，以提升模型性能。
• 在图像重建和超分辨率基准上，通过实验验证所提出的正则化策略。

提出的方法

• 推导依赖于雅可比矩阵各层谱范数乘积的泛化误差界。
• 将该边界特化于反问题，结合前向算子F的利普希茨常数和噪声功率。
• 提出代理正则化器，如权重正交化（WO）、雅可比正交化以及SRIP，以控制雅可比矩阵的谱范数。
• 建立理论框架，将低雅可比谱范数与改进的泛化能力和鲁棒性联系起来。
• 使用覆盖数和度量熵来量化泛化界中的样本空间复杂度。
• 通过全连接网络和卷积网络在图像超分辨率和重建数据集上的实验，验证理论。

实验结果

研究问题

• RQ1 如何为回归任务，特别是反问题，对深度神经网络的泛化误差进行边界界定？
• RQ2 雅可比矩阵的谱范数在控制泛化误差中起什么作用？
• RQ3 从泛化边界推导出的正则化策略是否能提升反问题中的性能？
• RQ4 基于雅可比的正则化器与标准权重衰减在图像重建和超分辨率中的表现如何比较？
• RQ5 基于正交化的正则化器（如WO和SRIP）在多大程度上提升了模型的泛化能力？

主要发现

• 从泛化边界推导出的正则化策略——尤其是WO和SRIP——在图像超分辨率和重建任务中显著优于标准权重衰减。
• 采用WO正则化的网络实现了最佳的泛化误差（GE）性能，尽管在测试误差和PSNR上仅有轻微损失。
• 所有基于正交化的正则化器（WO、SRIP、Parseval）均优于权重衰减，证明了控制雅可比谱范数的重要性。
• 所提出的泛化界依赖于雅可比矩阵各层谱范数的乘积、输入空间的覆盖数以及噪声功率。
• 理论分析证实，最小化雅可比矩阵谱范数的乘积可提升泛化性能。
• 实验结果表明，通过WO和SRIP实现的谱范数正则化，比直接对权重施加谱范数约束更为有效。