[论文解读] Convex Regularization Behind Neural Reconstruction

Arda Sahiner, Morteza Mardani+3 more|arXiv (Cornell University)|Dec 9, 2020

Sparse and Compressive Sensing Techniques参考文献 50被引用 6

一句话总结

本文提出了一种凸对偶框架，将两层全卷积ReLU去噪网络的训练与推理重新表述为一个多项式时间可解的凸优化问题。通过利用零对偶间隙理论，揭示了权重衰减会诱导路径稀疏性正则化，且预测对应于基于图像块的聚类后接线性滤波，从而在MNIST和fastMRI数据集的图像重建任务中实现了全局最优性、鲁棒性与可解释性。

ABSTRACT

Neural networks have shown tremendous potential for reconstructing high-resolution images in inverse problems. The non-convex and opaque nature of neural networks, however, hinders their utility in sensitive applications such as medical imaging. To cope with this challenge, this paper advocates a convex duality framework that makes a two-layer fully-convolutional ReLU denoising network amenable to convex optimization. The convex dual network not only offers the optimum training with convex solvers, but also facilitates interpreting training and prediction. In particular, it implies training neural networks with weight decay regularization induces path sparsity while the prediction is piecewise linear filtering. A range of experiments with MNIST and fastMRI datasets confirm the efficacy of the dual network optimization problem.

研究动机与目标

• 为解决在医学成像等敏感领域中用于图像重建的非凸、不透明深度神经网络所存在的可解释性与鲁棒性不足问题。
• 为具有ReLU激活函数且输出像素间共享表示的两层全卷积ReLU网络，提供一个凸优化框架。
• 解释权重衰减正则化在训练过程中的作用，即在对偶空间中诱导路径稀疏性，这是一种隐式的容量控制形式。
• 揭示预测过程对应于基于潜在表征的图像块聚类，随后进行线性滤波。
• 证明凸对偶公式在MNIST和fastMRI数据集上与原始非凸网络的性能相当，且实现了零对偶间隙。

提出的方法

• 利用Fenchel对偶与符号模式重参数化，将原始非凸神经网络训练问题转化为凸优化问题。
• 引入重缩放步骤，将非凸问题转化为适合凸对偶理论的形式，从而获得可处理的对偶公式。
• 通过应用Fenchel–Moreau定理推导强对偶问题，并使用对偶变量的符号模式重新表达约束集。
• 通过在对偶空间中基于其潜在表征对输入图像块进行聚类，将预测重构为分段线性滤波器。
• 使用现成的凸优化求解器，确保训练与推理过程中的全局收敛性与鲁棒性。
• 通过在MNIST和fastMRI上的实验验证对偶间隙，确认原始问题与对偶问题之间的等价性。

实验结果

研究问题

• RQ1 能否将两层全卷积ReLU去噪网络重新表述为具有多项式时间复杂度的凸优化问题？
• RQ2 此类网络中的权重衰减正则化是否隐式诱导路径稀疏性？其在对偶空间中的解释是什么？
• RQ3 该网络的预测机制是否可解释为在对偶公式中基于图像块的聚类后接线性滤波？
• RQ4 原始非凸训练目标与其凸对偶之间在最优性与对偶间隙方面存在何种关系？
• RQ5 凸对偶公式是否在图像重建任务中保持与原始网络相当的性能？

主要发现

• 凸对偶公式实现了零对偶间隙，意味着原始非凸问题的最优值被凸对偶问题精确匹配。
• 带有权重衰减的训练目标被解释为诱导路径稀疏性正则化，从而在对偶空间中实现一种隐式的容量控制。
• 预测阶段对应于基于图像块潜在表征的聚类，并在每个聚类内应用线性滤波。
• 使用标准凸优化求解器，凸对偶公式可在多项式时间内求解，从而保证全局收敛性与鲁棒性。
• 在MNIST和fastMRI上的实验表明，凸对偶公式实现了与原始非凸网络相当的重建性能。
• 该框架实现了对训练与推理过程的可解释性，揭示了去噪网络的内在结构为聚类与滤波的组合。