[논문 리뷰] Deep Denoising For Scientific Discovery: A Case Study In Electron Microscopy

Sreyas Mohan, Ramón Manzorro외 7명|arXiv (Cornell University)|2020. 10. 24.

Image and Signal Denoising Methods인용 수 4

한 줄 요약

이 논문은 과학적 영상에서 참값으로 간주되는 깨끗한 데이터가 부족한 문제를 해결하기 위해 물리적 모델 기반으로 생성된 시뮬레이션된 투과전자현미경(TEM) 영상으로 훈련된 딥 컨volution 신경망(CNN)을 사용하는 시뮬레이션 기반 노이즈 제거(SBD) 프레임워크를 제안한다. SBD는 시뮬레이션된 데이터와 실제 저신호대노이즈(저SNR) TEM 데이터 양쪽 모두에서 기존 방법들을 뛰어넘는 성능을 보이며, 더 뛰어난 일반화 능력과 강건성을 입증한다. 또한 기존의 사진 기반 평가 기준을 넘어서 과학적 의미 있는 성능 평가를 위한 새로운 지표와 가능도 기반 시각화 기법을 도입한다.

ABSTRACT

Denoising is a fundamental challenge in scientific imaging. Deep convolutional neural networks (CNNs) provide the current state of the art in denoising natural images, where they produce impressive results. However, their potential has barely been explored in the context of scientific imaging. Denoising CNNs are typically trained on real natural images artificially corrupted with simulated noise. In contrast, in scientific applications, noiseless ground-truth images are usually not available. To address this issue, we propose a simulation-based denoising (SBD) framework, in which CNNs are trained on simulated images. We test the framework on data obtained from transmission electron microscopy (TEM), an imaging technique with widespread applications in material science, biology, and medicine. SBD outperforms existing techniques by a wide margin on a simulated benchmark dataset, as well as on real data. Apart from the denoised images, SBD generates likelihood maps to visualize the agreement between the structure of the denoised image and the observed data. Our results reveal shortcomings of state-of-the-art denoising architectures, such as their small field-of-view: substantially increasing the field-of-view of the CNNs allows them to exploit non-local periodic patterns in the data, which is crucial at high noise levels. In addition, we analyze the generalization capability of SBD, demonstrating that the trained networks are robust to variations of imaging parameters and of the underlying signal structure. Finally, we release the first publicly available benchmark dataset of TEM images, containing 18,000 examples.

연구 동기 및 목표

• 참값으로 간주되는 깨끗한 데이터가 확보되지 않은 과학적 영상, 특히 전자현미경에서의 노이즈 제거 문제를 해결하기 위해.
• 다양한 영상 촬영 조건과 신호 구조에 대해 잘 일반화되는 딥 러닝 프레임워크를 개발하기 위해.
• TEM와 같은 과학적 데이터에 적용했을 때 기존 사진 기반 영상 노이즈 제거 아키텍처의 한계를 규명하기 위해.
• 사진 품질이 아닌 과학적으로 의미 있는 영상 정밀도를 반영하는 새로운 평가 지표를 제안하기 위해.
• 재현 가능한 과학적 영상 노이즈 제거 연구를 위해 18,000장의 TEM 영상으로 구성된 공개 벤치마크 데이터셋을 제공하기 위해.

제안 방법

• 전자빔 상호작용 및 노이즈 과정의 물리적 모델을 사용해 생성한 대규모 시뮬레이션된 TEM 영상 데이터셋을 기반으로 딥 CNN을 훈련시키기 위해.
• 실제 참값 영상이 필요 없이 노이즈가 섞인 관측치로부터 깨끗한 신호를 재구성하도록 학습하는 시뮬레이션 기반 훈련 파라다임을 사용하기 위해.
• 저SNR 환경에서의 특징 학습과 기울기 흐름을 향상시키기 위해 U-Net 유사 아키텍처와 잔차 연결을 활용하기 위해.
• 전방 모델링 기반으로 가능도 맵 시각화 기법을 도입하여 재구성된 영상와 관측 데이터 간의 통계적 일관성을 평가하기 위해.
• 원자 해상도 TEM에 특화된 도메인 전용 평가 지표—예를 들어 원자 격자 탐지 정확도 및 구조 보존 점수—를 설계하여 과학적 의미 있는 성능 평가를 가능하게 하기 위해.
• 특징 학습과 아키텍처 민감도를 과학적 영상 환경에서 분석하기 위해 기울기 시각화 및 아블레이션 연구를 적용하기 위해.

실험 결과

연구 질문

• RQ1 시뮬레이션된 과학적 영상으로 훈련된 딥 CNN이 실제 저신호대노이즈 영상 데이터에 효과적으로 일반화되는가?
• RQ2 기존 사진 기반 영상 노이즈 제거 아키텍처가 TEM과 같은 과학적 영상 데이터에 적용되었을 때 성능은 어떠한가?
• RQ3 과학적 영상 노이즈 제거 성능 평가에 있어 PSNR와 SSIM보다 더 적절한 지표는 무엇인가?
• RQ4 훈련 데이터 분포의 선택이 재구성된 출력의 일반화 능력과 아티팩트 프로파일에 어떤 영향을 미치는가?
• RQ5 가능도 기반 시각화 기법이 재구성된 영상와 원시 관측치 간의 일관성 부족 영역을 효과적으로 식별할 수 있는가?

주요 결과

• SBD 프레임워크는 시뮬레이션된 데이터와 실제 TEM 데이터 양쪽 모두에서 최신 기술인 푸리에 필터링, 웨이블릿 기반 PURE-LET, 비지도 기반 노이즈 제거 방법들을 뛰어넘는 성능을 보이며, 특히 저신호대노이즈 비율에서 뛰어난 성능을 발휘한다.
• 기존 사진 기반 노이즈 제거 아키텍처는 TEM 데이터에서는 성능이 열등하며, CNN의 수용장역(시야)을 확장하면 저SNR 영상에서 성능 향상이 뚜렷하게 향상된다.
• PSNR와 SSIM은 과학적으로 의미 있는 영상 품질과 상관관계가 없으며, 제안된 지표인 원자 격자 탐지 정확도 및 구조 보존 점수는 전문가 평가와 더 강한 일치를 보인다.
• 훈련 데이터의 불일치는 아티팩트를 유발한다: 흰색 대비 시뮬레이션 데이터로 훈련된 네트워크는 기질 영역에 자연스럽지 않은 줄무늬 패턴을 생성하지만, 실제 촬영 조건을 반영한 데이터로 훈련된 네트워크는 더 정확하게 구조를 복원한다.
• 비지도 방법은 배경 영역에서는 잘 작동하지만 나노입자 표면에서는 심각한 아티팩트를 유발하여 배경과 특징의 품질 간 상충 관계를 드러낸다.
• 가능도 맵은 관측 데이터와의 일관성이 높거나 낮은 영역을 효과적으로 시각화하여 위상 원자와 같은 잠재적 오진을 식별하는 데 도움이 되지만, 매우 낮은 SNR 영역에서는 성능이 떨어질 수 있다.