[论文解读] Automating Parameter Selection in Deep Image Prior for Fluorescence Microscopy Image Denoising via Similarity-Based Parameter Transfer

Lina Meyer, Felix Wissel+9 more|arXiv (Cornell University)|Jan 17, 2026

Cell Image Analysis Techniques被引用 0

一句话总结

AUTO-DIP 将 DIP 降噪参数从标定集迁移到新的荧光显微镜图像，基于相似性策略获得更快且更优的降噪效果，相较原始 DIP 和变分法。

ABSTRACT

Unsupervised deep image prior (DIP) addresses shortcomings of training data requirements and limited generalization associated with supervised deep learning. The performance of DIP depends on the network architecture and the stopping point of its iterative process. Optimizing these parameters for a new image requires time, restricting DIP application in domains where many images need to be processed. Focusing on fluorescence microscopy data, we hypothesize that similar images share comparable optimal parameter configurations for DIP-based denoising, potentially enabling optimization-free DIP for fluorescence microscopy. We generated a calibration (n=110) and validation set (n=55) of semantically different images from an open-source dataset for a network architecture search targeted towards ideal U-net architectures and stopping points. The calibration set represented our transfer basis. The validation set enabled the assessment of which image similarity criterion yields the best results. We then implemented AUTO-DIP, a pipeline for automatic parameter transfer, and compared it to the originally published DIP configuration (baseline) and a state-of-the-art image-specific variational denoising approach. We show that a parameter transfer from the calibration dataset to a test image based on only image metadata similarity (e.g., microscope type, imaged specimen) leads to similar and better performance than a transfer based on quantitative image similarity measures. AUTO-DIP outperforms the baseline DIP (DIP with original DIP parameters) as well as the variational denoising approaches for several open-source test datasets of varying complexity, particularly for very noisy inputs. Applications to locally acquired fluorescence microscopy images further proved superiority of AUTO-DIP.

研究动机与目标

• 解决荧光显微镜降噪中对 DIP 自动、针对图像的参数选择的需求，以提升速度与质量。
• 研究基于图像相似性的参数迁移是否可以替代逐图像网格搜索。
• 确定在显微镜类型、样本与成像模态之间，最有效的相似性准则以实现参数迁移。
• 在多种荧光数据集上将 AUTO-DIP 与原始 DIP 配置以及最先进的变分降噪方法进行对比评估。

提出的方法

• 使用带有 U-net 主干的无监督深度图像先验（DIP）框架进行图像降噪。
• 在 DIP 架构（深度、宽度、跳跃连接）和停止迭代上定义网格搜索，以为标定图像确立最优配置。
• 从 FMD 数据集构建标定数据集（n=110）和验证集（n=55），以探索参数迁移策略。
• 评估三种参数迁移的相似性准则：基于分组的组别相似性（显微镜-样本分组）、基于度量的像素/感知空间最近邻，以及组合的组-度量变体。
• 将迁移策略与图像特定的最优配置、原始 DIP 参数以及稀疏性变分降噪方法进行比较。
• 在额外公开数据集（Hagen、BioSR、W2S Shah）以及内部 UKE 数据集上测试泛化能力。

实验结果

研究问题

• RQ1 DIP 超参数（架构与停止点）能否在相似的荧光显微图像之间有效迁移，以在无需逐图像优化的情况下实现针对图像的降噪？
• RQ2 哪种相似性准则（基于元数据的分组 vs. 基于像素/语义的相似性）最能引导 DIP 在荧光显微中的参数迁移？
• RQ3 在多个数据集和不同噪声水平下，AUTO-DIP 相较于原始 DIP 配置和最先进的变分降噪方法的表现如何？

主要发现

数据集	子数据集	带噪声图像 PSNR/LPIPS	稀疏降噪 PSNR/LPIPS	DIP PSNR/LPIPS	AUTO-DIP PSNR/LPIPS
FMD Test	avg2	30.08 / 0.263	28.22 / 0.169	32.07 / 0.167	34.13 / 0.091
FMD Test	raw	27.22 / 0.364	27.43 / 0.199	28.97 / 0.264	32.38 / 0.119
FMD Test	BPAE, Actin (G), Confocal	29.89 / 0.191	26.85 / 0.161	31.70 / 0.106	31.90 / 0.094
FMD Test	BPAE, Actin (G), Two-Photon	26.34 / 0.380	28.38 / 0.228	27.60 / 0.257	29.83 / 0.183
FMD Test	BPAE, Actin (G), Widefield	25.42 / 0.383	27.51 / 0.305	25.98 / 0.359	30.98 / 0.184
FMD Test	BPAE, Mito (R), Confocal	34.53 / 0.071	32.29 / 0.085	36.57 / 0.031	36.50 / 0.034
FMD Test	BPAE, Mito (R), Two-Photon	32.34 / 0.239	29.09 / 0.179	35.57 / 0.091	36.52 / 0.074
FMD Test	BPAE, Mito (R), Widefield	27.77 / 0.469	27.09 / 0.388	28.51 / 0.400	33.81 / 0.199
FMD Test	BPAE, Nucleus (B), Confocal	33.41 / 0.136	31.30 / 0.047	36.08 / 0.028	37.04 / 0.015
FMD Test	BPAE, Nucleus (B), Two-Photon	25.55 / 0.386	25.34 / 0.135	27.69 / 0.242	29.92 / 0.063
FMD Test	BPAE, Nucleus (B), Widefield	26.94 / 0.470	25.86 / 0.374	28.18 / 0.393	34.38 / 0.126
Hagen	Actin, Confocal	25.36 / 0.115	21.42 / 0.230	26.57 / 0.076	27.23 / 0.097
Hagen	Actin, Widefield, 20x, noise1	24.44 / 0.501	28.39 / 0.261	26.51 / 0.392	30.30 / 0.099
Hagen	Actin, Widefield, 60x, noise1	28.24 / 0.350	35.30 / 0.105	31.81 / 0.198	35.34 / 0.078
Hagen	Actin, Widefield, 60x, noise2	18.49 / 0.606	19.36 / 0.579	18.82 / 0.660	23.11 / 0.521
Hagen	Membrane, Widefield	29.54 / 0.311	33.81 / 0.096	33.15 / 0.135	35.02 / 0.071
BioSR	CCPs, Widefield	25.79 / 0.383	32.26 / 0.089	29.97 / 0.141	27.44 / 0.178
BioSR	ER, Widefield	18.40 / 0.626	21.06 / 0.450	19.57 / 0.527	22.65 / 0.265

• 基于显微镜-样本分组相似性的参数迁移在验证集上实现了最佳平均降噪性能（均值 PSNR 34.99，LPIPS 0.098），接近图像特定最优（35.56 PSNR）。
• 在评估的指标上，AUTO-DIP 通常优于原始 DIP 配置（平均 PSNR 从 31.90 提升至更高值）以及在很多测试用例中优于变分稀疏性方法。
• AUTO-DIP 降噪平均运行速度约为原始 DIP 配置的 3 倍左右。
• AUTO-DIP 对非常嘈杂的输入表现出稳健的改进，并在多样的荧光显微数据集上提供比基线和某些竞争方法更好的降噪效果。
• 并非所有情况都同样受益；在少数数据集与噪声水平下，某些细微结构细节可能略微模糊或过度平滑。