[论文解读] Degrees of Freedom Analysis of Unrolled Neural Networks

Morteza Mardani, Qingyun Sun+4 more|arXiv (Cornell University)|Jun 10, 2019

Sparse and Compressive Sensing Techniques参考文献 34被引用 5

一句话总结

本文通过使用 Stein 的无偏风险估计器（SURE）对未展开神经网络进行自由度（DOF）分析，量化了图像复原任务中的泛化风险。证明了在非相干性条件下，DOF（定义为端到端网络雅可比矩阵的迹）可被加权路径稀疏性良好近似，并通过实证表明，与非循环替代方案相比，具有循环权重重用机制的网络在训练样本较少时泛化速度更快，展示了在低数据环境下循环机制作为有效正则化器的作用。

ABSTRACT

Unrolled neural networks emerged recently as an effective model for learning inverse maps appearing in image restoration tasks. However, their generalization risk (i.e., test mean-squared-error) and its link to network design and train sample size remains mysterious. Leveraging the Stein's Unbiased Risk Estimator (SURE), this paper analyzes the generalization risk with its bias and variance components for recurrent unrolled networks. We particularly investigate the degrees-of-freedom (DOF) component of SURE, trace of the end-to-end network Jacobian, to quantify the prediction variance. We prove that DOF is well-approximated by the weighted extit{path sparsity} of the network under incoherence conditions on the trained weights. Empirically, we examine the SURE components as a function of train sample size for both recurrent and non-recurrent (with many more parameters) unrolled networks. Our key observations indicate that: 1) DOF increases with train sample size and converges to the generalization risk for both recurrent and non-recurrent schemes; 2) recurrent network converges significantly faster (with less train samples) compared with non-recurrent scheme, hence recurrence serves as a regularization for low sample size regimes.

研究动机与目标

• 理解在训练数据有限的情况下，未展开神经网络在图像复原任务中的泛化风险。
• 利用 Stein 的无偏风险估计器（SURE）中的自由度（DOF）分量，量化未展开网络的预测方差。
• 分析网络架构（特别是循环设计中的权重重用与非循环设计中的权值变化）对泛化性能的影响。
• 在训练权重满足非相干性条件时，建立 DOF 与加权路径稀疏性之间的理论联系。
• 在去噪和去模糊任务上实证验证 SURE 框架，比较循环与非循环未展开网络的性能。

提出的方法

• 采用 Stein 的无偏风险估计器（SURE）将泛化均方误差分解为残差平方和（RSS）与自由度（DOF）。
• 将 DOF 定义为端到端网络雅可比矩阵的迹，以捕捉预测不确定性。
• 在训练权重满足非相干性条件时，推导出 DOF 关于加权路径稀疏性的理论近似。
• 使用单层残差单元与跳跃连接来建模未展开网络架构中的去噪器。
• 比较两种方案：具有权重重用（WS）的循环网络与具有权值变化（WC）的非循环网络，分析其 SURE 分量。
• 采用谱分析与频率响应解释，比较 WS 与 WC 网络的滤波行为。

实验结果

研究问题

• RQ1 在低数据环境下，未展开神经网络的自由度（DOF）如何与泛化风险相关？
• RQ2 在训练权重满足非相干性条件时，DOF 是否可被加权路径稀疏性准确近似？
• RQ3 在训练样本数量变化时，具有循环（权重重用）与非循环（权值变化）的未展开网络架构在泛化性能上如何比较？
• RQ4 当标注数据稀缺时，循环机制在正则化泛化误差方面起到什么作用？
• RQ5 通过频率谱分析，WS 与 WC 网络中学习到的近端算子在滤波行为上存在哪些差异？

主要发现

• DOF 随训练样本数量增加而上升，并最终收敛于两种循环与非循环方案的泛化风险。
• 在训练数据稀缺时，具有循环权重重用（WS）的网络显著低于非循环权值变化（WC）网络的泛化风险，表明循环机制起到了正则化作用。
• WS 与 WC 方案之间的 SURE 差异在低样本量时最大，随着训练数据增加而减小，最终趋于收敛。
• 在训练权重满足非相干性条件时，加权路径稀疏性能良好近似 DOF，为泛化风险提供了实用代理指标。
• WS 网络在频域表现出带通滤波特性，而 WC 网络则在低通与带通滤波之间交替，表明其去噪动力学存在差异。
• 在自然图像去模糊任务中，WS 网络的 PSNR 显著高于 WC 网络，证实了其在低数据环境下更优的泛化性能。