[논문 리뷰] A Poisson-Gaussian Denoising Dataset with Real Fluorescence Microscopy Images

Yide Zhang, Yinhao Zhu외 5명|arXiv (Cornell University)|2018. 12. 26.

Cell Image Analysis Techniques참고 문헌 32인용 수 14

한 줄 요약

이 논문은 공형, 이중광자, 광선형 현미경에서 유래한 희망-고유성 잡음이 첨가된 실제 형광 현미경 영상 12,000장을 포함하는 형광 현미경 잡음 제거(FMD) 데이터셋을 소개한다. 각 샘플에 대해 50장의 원본 영상 평균을 통해 고품질의 진정값을 생성하고, 다섯 가지 잡음 수준의 변형을 만들어 10종의 잡음 제거 알고리즘을 평가할 수 있도록 하였으며, 딥러닝 모델이 최신 기술 수준의 성능을 달성하고 GPU에서 실시간 잡음 제거가 가능하다.

ABSTRACT

Fluorescence microscopy has enabled a dramatic development in modern biology. Due to its inherently weak signal, fluorescence microscopy is not only much noisier than photography, but also presented with Poisson-Gaussian noise where Poisson noise, or shot noise, is the dominating noise source. To get clean fluorescence microscopy images, it is highly desirable to have effective denoising algorithms and datasets that are specifically designed to denoise fluorescence microscopy images. While such algorithms exist, no such datasets are available. In this paper, we fill this gap by constructing a dataset - the Fluorescence Microscopy Denoising (FMD) dataset - that is dedicated to Poisson-Gaussian denoising. The dataset consists of 12,000 real fluorescence microscopy images obtained with commercial confocal, two-photon, and wide-field microscopes and representative biological samples such as cells, zebrafish, and mouse brain tissues. We use image averaging to effectively obtain ground truth images and 60,000 noisy images with different noise levels. We use this dataset to benchmark 10 representative denoising algorithms and find that deep learning methods have the best performance. To our knowledge, this is the first real microscopy image dataset for Poisson-Gaussian denoising purposes and it could be an important tool for high-quality, real-time denoising applications in biomedical research.

연구 동기 및 목표

• 형광 현미경에 특화된 실제 희망-고유성 잡음 제거 데이터셋의 부족을 해결하기 위해.
• 다양한 모odalities와 생물학적 샘플을 활용한 실제 현미경 영상으로부터 고품질의 공개 가능한 데이터셋을 구축하기 위해.
• 형광 영상에서의 실제 잡음 특성에 기반한 잡음 제거 알고리즘의 평가를 가능하게 하기 위해.
• 다양한 잡음 수준과 영상 조건에서 고전적 및 딥러닝 기반의 잡음 제거 방법의 성능을 평가하기 위해.
• 동적 생물의학 영상 응용 분야에서 실시간 고품질의 잡음 제거를 지원하기 위해.

제안 방법

• 각 샘플당 50장의 원본 잡음 영상 평균을 통해 잡음은 최소화하면서도 구조적 세부 정보를 유지하는 고정밀도 진정값 영상을 생성한다.
• 공형, 이중광자, 광선형 현미경의 세 가지 모달리티에서 12,000장의 실제 형광 현미경 영상을 확보한다.
• 세 가지 생물학적 샘플(세포, 제브라피시, 마우스 뇌 조직)을 포함하여 다양한 생물학적 및 영상 조건을 보장한다.
• 노출 시간과 레이저 출력을 변화시켜 다섯 가지 다른 잡음 수준에서 총 60,000장의 잡음 영상을 생성한다.
• 단채널 및 다채널 영상에서 VST-BM3D, PURE-LET, DnCNN, Noise2Noise를 포함한 10종의 잡음 제거 알고리즘을 평가한다.
• 원본이며 검토되지 않은 테스트 영상에서 PSNR 및 SSIM 지표를 사용해 평가하며, CPU 및 GPU에서 추론 속도를 측정한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반의 잡음 제거 모델은 실제 형광 현미경 영상에 희망-고유성 잡음이 첨가된 상황에서 고전적 방법보다 어떻게 성능을 냈는가?
• RQ2 원본 프레임의 영상 평균을 통해 얼마나 신뢰할 수 있는 진정값을 생성할 수 있으며, 이는 잡음 제거 알고리즘의 학습 및 평가에 유용한가?
• RQ3 FMD 데이터셋으로 훈련된 딥러닝 모델은 실시간 추론 속도를 확보하여 동적 또는 생존 세포 영상에 적합한가?
• RQ4 다양한 잡음 수준과 영상 모달리티는 잡음 제거 알고리즘의 상대적 성능에 어떤 영향을 미치는가?
• RQ5 Noise2Noise 환경에서 배치 정규화 및 잔차 학습과 같은 아키텍처 구성 요소가 잡음 제거 성능에 어떤 영향을 미치는가?

주요 결과

• 특히 DnCNN와 Noise2Noise와 같은 딥러닝 모델이 BM3D 및 KSVD와 같은 고전적 방법보다 뚜렷한 성능 향상을 보이며, 다채널 BPAE 세포 영상에서 PSNR 값이 36 dB 이상을 달성한다.
• 배치 정규화를 적용한 Noise2Noise는 다채널 공형 영상에서 PSNR 36.35 dB를 기록했으며, 일부 경우에서 DnCNN과 같은 지도 학습 모델을 초월했다.
• DnCNN은 BPAE 세포에서 PSNR 36.15 dB, 제브라피시 배아에서 32.35 dB를 기록하여 샘플 및 모달리티 간에 뛰어난 일반화 성능를 입증했다.
• GPU에서 실행할 경우 딥러닝 모델의 잡음 제거 속도가 256×256 패치당 1ms 이하로 감소하여 초당 최대 100프레임의 실시간 처리가 가능했다.
• DnCNN에서 잔차 학습을 적용한 경우 비잔차 버전 대비 0.5–1 dB 향상된 성능를 기록하여 이 기법이 이 잡음 제거 맥락에서 유의미한 이점이 있음을 확인했다.
• FMD 데이터셋은 http://tinyurl.com/y6mwqcjs 에 공개되어 있으며, 벤치마크 코드와 함께 제공되어 재현 가능한 평가 및 향후 알고리즘 개발을 지원한다.