[论文解读] Adaptive Denoising via GainTuning

Sreyas Mohan, Joshua Vincent+4 more|arXiv (Cornell University)|Jul 27, 2021

Image and Signal Denoising Methods参考文献 81被引用 10

一句话总结

本文提出GainTuning方法，通过在每个卷积层的每个卷积通道上优化单一乘法增益参数，实现对预训练卷积神经网络（CNN）的微调，以实现图像去噪。通过在单个测试图像上使用无监督去噪目标选择性地调整这些增益参数，GainTuning在标准基准测试中提升了当前最先进性能，并显著增强了对分布外数据的泛化能力，包括低信噪比（SNR）的透射电镜图像，在此类图像中成功恢复了先前方法遗漏的原子尺度结构。

ABSTRACT

Deep convolutional neural networks (CNNs) for image denoising are usually trained on large datasets. These models achieve the current state of the art, but they have difficulties generalizing when applied to data that deviate from the training distribution. Recent work has shown that it is possible to train denoisers on a single noisy image. These models adapt to the features of the test image, but their performance is limited by the small amount of information used to train them. Here we propose "GainTuning", in which CNN models pre-trained on large datasets are adaptively and selectively adjusted for individual test images. To avoid overfitting, GainTuning optimizes a single multiplicative scaling parameter (the "Gain") of each channel in the convolutional layers of the CNN. We show that GainTuning improves state-of-the-art CNNs on standard image-denoising benchmarks, boosting their denoising performance on nearly every image in a held-out test set. These adaptive improvements are even more substantial for test images differing systematically from the training data, either in noise level or image type. We illustrate the potential of adaptive denoising in a scientific application, in which a CNN is trained on synthetic data, and tested on real transmission-electron-microscope images. In contrast to the existing methodology, GainTuning is able to faithfully reconstruct the structure of catalytic nanoparticles from these data at extremely low signal-to-noise ratios.

研究动机与目标

• 解决预训练CNN去噪器在应用于与训练分布不同的测试图像时泛化性能差的问题。
• 提升在真实世界低信噪比图像上的性能，这些图像中标准CNN会失效。
• 开发一种轻量化、不易过拟合的微调方法，结合大规模预训练的优势与测试图像特定的优化。
• 实现在无需微调整个网络的前提下有效适应，避免过拟合同时保持泛化能力。

提出的方法

• GainTuning通过在每个卷积层的每个通道上优化单一乘法增益参数，而非全部网络权重，来微调预训练CNN。
• 增益参数通过使用测试图像本身作为输入，基于无监督去噪目标进行更新，以最小化重建误差。
• 该方法利用一阶泰勒近似将CNN建模为仿射函数，从而实现对偏差和微调效应的分析。
• 增益调优过程计算高效，仅涉及全参数集的约0.1%，降低了过拟合风险。
• 该方法与网络架构无关，可应用于任意预训练CNN去噪器。
• 通过在相似图像上测试微调后的模型来评估泛化能力，证明其在相关图像类型或噪声统计特性下的可迁移性。

实验结果

研究问题

• RQ1 能否在不发生过拟合的前提下，有效将预训练CNN适配到单个测试图像？
• RQ2 GainTuning如何提升在分布外图像上的去噪性能？
• RQ3 GainTuning在具有相似结构或噪声特征的其他图像上泛化程度如何？
• RQ4 增益调优如何降低CNN的偏差，从而实现对分布外噪声水平的更好泛化？
• RQ5 GainTuning能否在真实科学成像数据中恢复细微结构特征，例如低信噪比电镜图像中的原子尺度特征？

主要发现

• GainTuning在保留测试集中的几乎所有图像上均提升了去噪性能，尤其在分布外图像上提升显著。
• 在信噪比约为3 dB的透射电镜图像上，GainTuning成功恢复了原子结构，而标准预训练模型和仅在测试图像上微调的模型均未能重建出这些结构。
• 该方法降低了CNN的总体偏差，使其能够泛化至训练范围之外的噪声水平，这一结论在控制噪声水平变化的实验中得到验证。
• 具有重复性图案或大面积恒定强度区域的图像从微调中受益最多，而结构多变的图像改善较小。
• 对扫描文档或噪声图像进行微调后，可有效泛化至其他相似图像，表明其具备稳健的迁移能力。
• GainTuning后的等效线性滤波器在大区域上的平均效应减小，从而保留了原始预训练模型中被过度平滑的精细细节。