[논문 리뷰] Automating Parameter Selection in Deep Image Prior for Fluorescence Microscopy Image Denoising via Similarity-Based Parameter Transfer

Lina Meyer, Felix Wissel외 9명|arXiv (Cornell University)|2026. 01. 17.

Cell Image Analysis Techniques인용 수 0

한 줄 요약

AUTO-DIP transfers DIP denoising parameters from a calibration set to new fluorescence microscopy images using similarity-based strategies, achieving faster and improved denoising compared to the original DIP and a variational method.

ABSTRACT

Unsupervised deep image prior (DIP) addresses shortcomings of training data requirements and limited generalization associated with supervised deep learning. The performance of DIP depends on the network architecture and the stopping point of its iterative process. Optimizing these parameters for a new image requires time, restricting DIP application in domains where many images need to be processed. Focusing on fluorescence microscopy data, we hypothesize that similar images share comparable optimal parameter configurations for DIP-based denoising, potentially enabling optimization-free DIP for fluorescence microscopy. We generated a calibration (n=110) and validation set (n=55) of semantically different images from an open-source dataset for a network architecture search targeted towards ideal U-net architectures and stopping points. The calibration set represented our transfer basis. The validation set enabled the assessment of which image similarity criterion yields the best results. We then implemented AUTO-DIP, a pipeline for automatic parameter transfer, and compared it to the originally published DIP configuration (baseline) and a state-of-the-art image-specific variational denoising approach. We show that a parameter transfer from the calibration dataset to a test image based on only image metadata similarity (e.g., microscope type, imaged specimen) leads to similar and better performance than a transfer based on quantitative image similarity measures. AUTO-DIP outperforms the baseline DIP (DIP with original DIP parameters) as well as the variational denoising approaches for several open-source test datasets of varying complexity, particularly for very noisy inputs. Applications to locally acquired fluorescence microscopy images further proved superiority of AUTO-DIP.

연구 동기 및 목표

• 형광 현미경 노이즈 제거에서 이미지별 DIP 매개변수 자동 선택의 필요성을 해결한다.
• 이미지 유사성에 기반한 매개변수 이전이 이미지별 격자 탐색을 대체할 수 있는지 조사한다.
• 현미경 유형, 표본 및 이미징 모달리티 간 매개변수 이전에 가장 효과적인 유사성 기준을 식별한다.
• 다양한 형광 데이터 세트에서 AUTO-DIP를 원래 DIP 구성 및 최첨단 변분 노이즈 제거 방법과 비교 평가한다.

제안 방법

• 이미지 노이즈 제거를 위한 U-네트워크 백본을 가진 비지도 DIP 프레임워크를 사용한다.
• 다층 깊이, 폭, 스킵 연결 및 중지 반복에 대한 DIP 아키텍처의 격자 검색을 정의하여 보정 이미지당 최적 구성을 확립한다.
• 보정 데이터세트(n=110)와 검증 세트(n=55)를 FMD 데이터세트에서 구성하여 매개변수 이전 전략을 탐색한다.
• 매개변수 이전에 대해 세 가지 유사성 기준을 평가한다: 그룹 기반(현미경-표본 그룹), 메트릭 기반(픽셀/지각 공간의 최근접 이웃), 결합 그룹-메트릭 변형.
• 이전 전략을 이미지별 최적 구성, 원래 DIP 매개변수, 희소성 기반 변분 노이즈 제거 방법과 비교한다.
• 추가 공개 데이터세트(Hagen, BioSR, W2S Shah) 및 내부 UKE 데이터에서 일반화 가능성을 시험한다.

실험 결과

연구 질문

• RQ1 DIP 하이퍼파라미터(아키텍처 및 중지점)가 유사한 형광 현미경 이미지 간에 효과적으로 전달되어 이미지별 최적화 없이도 이미지별 노이즈 제거를 달성할 수 있는가?
• RQ2 어떤 유사성 기준(메타데이터 기반 그룹 대 픽셀/의미론적 유사성)이 형광 현미경에서 DIP 매개변수 이전을 가장 잘 안내하는가?
• RQ3 다수의 데이터 세트와 노이즈 수준에 걸쳐 AUTO-DIP가 원래 DIP 구성 및 최첨단 변분 노이즈 제거 방법에 비해 성능이 어떻게 되는가?

주요 결과

데이터 세트	하위 데이터 세트	노이즈 이미지 PSNR/LPIPS	희소 노이즈 제거 PSNR/LPIPS	DIP PSNR/LPIPS	AUTO-DIP PSNR/LPIPS
FMD Test	avg2	30.08 / 0.263	28.22 / 0.169	32.07 / 0.167	34.13 / 0.091
FMD Test	raw	27.22 / 0.364	27.43 / 0.199	28.97 / 0.264	32.38 / 0.119
FMD Test	BPAE, Actin (G), Confocal	29.89 / 0.191	26.85 / 0.161	31.70 / 0.106	31.90 / 0.094
FMD Test	BPAE, Actin (G), Two-Photon	26.34 / 0.380	28.38 / 0.228	27.60 / 0.257	29.83 / 0.183
FMD Test	BPAE, Actin (G), Widefield	25.42 / 0.383	27.51 / 0.305	25.98 / 0.359	30.98 / 0.184
FMD Test	BPAE, Mito (R), Confocal	34.53 / 0.071	32.29 / 0.085	36.57 / 0.031	36.50 / 0.034
FMD Test	BPAE, Mito (R), Two-Photon	32.34 / 0.239	29.09 / 0.179	35.57 / 0.091	36.52 / 0.074
FMD Test	BPAE, Mito (R), Widefield	27.77 / 0.469	27.09 / 0.388	28.51 / 0.400	33.81 / 0.199
FMD Test	BPAE, Nucleus (B), Confocal	33.41 / 0.136	31.30 / 0.047	36.08 / 0.028	37.04 / 0.015
FMD Test	BPAE, Nucleus (B), Two-Photon	25.55 / 0.386	25.34 / 0.135	27.69 / 0.242	29.92 / 0.063
FMD Test	BPAE, Nucleus (B), Widefield	26.94 / 0.470	25.86 / 0.374	28.18 / 0.393	34.38 / 0.126
Hagen	Actin, Confocal	25.36 / 0.115	21.42 / 0.230	26.57 / 0.076	27.23 / 0.097
Hagen	Actin, Widefield, 20x, noise1	24.44 / 0.501	28.39 / 0.261	26.51 / 0.392	30.30 / 0.099
Hagen	Actin, Widefield, 60x, noise1	28.24 / 0.350	35.30 / 0.105	31.81 / 0.198	35.34 / 0.078
Hagen	Actin, Widefield, 60x, noise2	18.49 / 0.606	19.36 / 0.579	18.82 / 0.660	23.11 / 0.521
Hagen	Membrane, Widefield	29.54 / 0.311	33.81 / 0.096	33.15 / 0.135	35.02 / 0.071
BioSR	CCPs, Widefield	25.79 / 0.383	32.26 / 0.089	29.97 / 0.141	27.44 / 0.178
BioSR	ER, Widefield	18.40 / 0.626	21.06 / 0.450	19.57 / 0.527	22.65 / 0.265

• 현미경-표본 그룹 유사성에 기반한 매개변수 이전이 검증 세트에서 최고 평균 노이즈 제거 성능을 제공(평균 PSNR 34.99, LPIPS 0.098), 이미지별 최적(35.56 PSNR)에 근접.
• 평가 지표 전반에서 AUTO-DIP는 일반적으로 원래 DIP 구성(평균 PSNR 31.90에서 상승) 및 변분 희소 기반 방법보다 더 우수한 경우가 많다.
• AUTO-DIP 노이즈 제거는 원래 DIP 구성보다 평균 약 3배 더 빠르게 수행된다.
• AUTO-DIP는 매우 시끄러운 입력에 대해 견고한 개선을 보이며 다양한 형광 현미경 데이터 세트에서 베이스라인 및 일부 경쟁 방법보다 더 나은 노이즈 제거를 제공한다.
• 모든 경우가 동일하게 이득을 주지는 않으며, 데이터 세트 및 노이즈 수준에 따라 일부 미세한 구조가 다소 흐려지거나 과도하게 매끄러워질 수 있다.