[论文解读] Boosting CNN beyond Label in Inverse Problems

Eunju Cha, Jaeduck Jang+3 more|arXiv (Cornell University)|Jun 18, 2019

Image and Signal Denoising Methods参考文献 32被引用 4

一句话总结

本文提出 Noise2Boosting，一种用于卷积神经网络（CNN）在反问题中无偏预测误差估计的新型提升估计器。通过利用组合卷积框架表示和批量归一化，该方法实现了无需标签的端到端训练——在去噪、超分辨率和磁共振成像重建任务中表现优异，且无需干净标签或多组噪声实现。

ABSTRACT

Convolutional neural networks (CNN) have been extensively used for inverse problems. However, their prediction error for unseen test data is difficult to estimate a priori since the neural networks are trained using only selected data and their architecture are largely considered a blackbox. This poses a fundamental challenge to neural networks for unsupervised learning or improvement beyond the label. In this paper, we show that the recent unsupervised learning methods such as Noise2Noise, Stein's unbiased risk estimator (SURE)-based denoiser, and Noise2Void are closely related to each other in their formulation of an unbiased estimator of the prediction error, but each of them are associated with its own limitations. Based on these observations, we provide a novel boosting estimator for the prediction error. In particular, by employing combinatorial convolutional frame representation of encoder-decoder CNN and synergistically combining it with the batch normalization, we provide a close form formulation for the unbiased estimator of the prediction error that can be minimized for neural network training beyond the label. Experimental results show that the resulting algorithm, what we call Noise2Boosting, provides consistent improvement in various inverse problems under both supervised and unsupervised learning setting.

研究动机与目标

• 解决在无干净标签时，对反问题中 CNN 的预测误差估计挑战。
• 克服现有无监督方法（如 Noise2Noise 需要多组噪声实现，Noise2Void 受限于下采样）的局限性。
• 开发一种可泛化的无标签训练框架，通过显式、闭式无偏预测误差估计器，提升模型在标签之外的泛化能力。
• 仅使用每张图像一组噪声输入，实现编码器-解码器 CNN（如 U-Net）在监督与无监督设置下的鲁棒训练。

提出的方法

• 提出编码器-解码器 CNN 的组合卷积框架表示，以建模输入相关的线性框架结构。
• 基于 ReLU 网络特性，利用输出对输入的散度，推导出预测误差的闭式无偏估计器。
• 引入一种提升策略，通过随机加权或掩码的输入样本组合多个输出，以降低预测误差。
• 利用批量归一化简化散度项的贡献，降低训练复杂度并避免学习恒等映射。
• 对噪声输入应用随机加权（0.8–1.2）和噪声增强（σ ∈ [10,40]），在无需干净图像的情况下生成多样化训练样本。
• 将推导出的估计器作为训练过程中的损失函数，实现无需真实标签的端到端优化。

实验结果

研究问题

• RQ1 能否为基于 ReLU 的编码器-解码器 CNN 推导出预测误差的闭式无偏估计器？
• RQ2 如何利用预测误差估计器在反问题中实现超越标签的 CNN 训练？
• RQ3 能否克服 Noise2Noise（需多组噪声实现）和 Noise2Void（下采样导致性能损失）的局限性？
• RQ4 通过随机输入加权组合多个提升后的网络输出，能否提升泛化能力与图像质量？
• RQ5 所提方法能否在仅使用每张图像一组噪声输入的条件下，实现在无监督反问题中的最先进性能？

主要发现

• 在高斯去噪任务中（σ=25），Noise2Boosting 的 PSNR 和 SSIM 分别达到 29.117 和 0.742（Set5 数据集），优于 Noise2Noise 的 29.180 和 0.756。
• 视觉上，Noise2Boosting 在 σ=25 的去噪任务中恢复了更优的纹理与细节，如图 5 所示。
• Noise2Boosting 在超分辨率、加速磁共振成像和电子显微成像任务中均表现出色，证明其在各类反问题中的泛化能力。
• 随机输入加权与噪声增强的结合，实现了有效数据增强，且无需干净图像或多组噪声实现。
• 理论分析表明，批量归一化可最小化散度项的贡献，从而实现稳定高效的训练。
• 所提框架可在仅使用一组噪声输入的条件下，实现无监督设置下的 CNN 训练，显著降低数据采集约束。