[논문 리뷰] A New Deep Learning Method for Image Deblurring in Optical Microscopic Systems

Huangxuan Zhao, Ziwen Ke외 9명|arXiv (Cornell University)|2019. 10. 08.

Advanced Image Processing Techniques참고 문헌 38인용 수 5

한 줄 요약

이 논문은 전통적인 역세분화 기법에 비해 반복 처리나 사전 정의된 점함수(PSF) 연산자를 필요로 하지 않는 딥러닝 기반의 광학 현미경 영상 복원 기법을 제안한다. 이 방법은 시뮬레이션, 데이터베이스 및 실험 데이터셋에서 2차원 및 3차원 현미경 데이터 전반에 걸쳐 더 빠르고 정확한 복원을 달성하며, 이미지 품질과 계산 효율성 측면에서 뛰어난 성능을 보여준다.

ABSTRACT

Deconvolution is the most commonly used image processing method to remove the blur caused by the point-spread-function (PSF) in optical imaging systems. While this method has been successful in deblurring, it suffers from several disadvantages including being slow, since it takes many iterations, suboptimal, in cases where experimental operator chosen to represent PSF is not optimal. In this paper, we are proposing a deep-learning-based deblurring method applicable to optical microscopic imaging systems. We tested the proposed method in database data, simulated data, and experimental data (include 2D optical microscopic data and 3D photoacoustic microscopic data), all of which showed much improved deblurred results compared to deconvolution. To quantify the improved performance, we compared our results against several deconvolution methods. Our results are better than conventional techniques and do not require multiple iterations or pre-determined experimental operator. Our method has the advantages of simple operation, short time to compute, good deblur results and wide application in all types of optical microscopic imaging systems. The deep learning approach opens up a new path for deblurring and can be applied in various biomedical imaging fields.

연구 동기 및 목표

• 기존의 역세분화 기법이 느린 계산 속도와 비최적의 PSF 추정에 민감하다는 한계를 해결하기 위해.
• 반복 최적화나 수동으로 선택된 PSF 연산자를 필요로 하지 않는 딥러닝 기반의 빠르고 정확하며 강건한 영상 복원 방법을 개발하기 위해.
• 2차원 광학 현미경 및 3차원 광음향 현미경을 포함한 다양한 영상 모odalities에서 제안된 방법을 평가하기 위해.
• 제안된 방법이 시뮬레이션 및 실제 실험 데이터에서 기존의 역세분화 기법보다 일반화 능력과 성능 향상을 보여주기 위해.

제안 방법

• 방법은 블러드 이미지를 직접 선명한 이미지로 매핑하는 엔드 투 엔드로 훈련된 딥 네ural 네트워크 아키텍처를 사용하여 명시적인 PSF 모델링이 필요 없도록 한다.
• 네트워크는 2차원 및 3차원 영상 모달리티를 포함한 시뮬레이션 및 실제 현미경 데이터에서 생성된 블러드 및 선명한 이미지 쌍으로 훈련된다.
• 컨볼루션 레이어와 스케일 연결을 활용하여 전통적인 역세분화에서 흔히 발생하는 잡음과 아티팩트를 줄이고 세밀한 구조적 디테일을 유지하도록 아키텍처가 설계된다.
• 픽셀 단위 재구성 손실과 인지적 손실을 조합한 손실 함수를 사용하여 구조적 정밀도와 시각적 품질을 향상시킨다.
• PSF 추정이나 반복 최적화 단계 없이도 원시 입력 이미지에 직접 적용 가능하다.
• 일관된 성능을 확보하기 위해 합성 및 실험 데이터셋을 대상으로 평가하여 다양한 영상 조건에서의 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 반복 최적화에 의존하지 않고도 딥러닝 모델이 기존의 역세분화 기법보다 뛰어난 복원 성능을 달성할 수 있는가?
• RQ2 제안된 방법은 2차원 및 3차원 모달리티를 포함한 다양한 광학 현미경 영상 시스템에 일반화 가능한가?
• RQ3 정확하거나 사전 지정된 점함수(PSF)가 없이도 고품질의 복원 이미지를 생성할 수 있는가?
• RQ4 속도와 이미지 품질 측면에서 제안된 방법이 기존의 역세분화 기법과 정량적·정성적으로 어떻게 비교되는가?

주요 결과

• 제안된 딥러닝 기반 복원 방법은 시뮬레이션, 데이터베이스 및 실험 데이터를 포함한 모든 테스트 데이터셋에서 기존의 역세분화 기법보다 뛰어난 복원 품질을 확보했다.
• 반복적인 역세분화보다 더 빠른 추론 시간을 기록하여 다중 최적화 단계가 필요 없음을 확인했다.
• 특히 3차원 광음향 현미경 데이터에서 세밀한 구조적 디테일을 뛰어나게 유지하고 아티팩트를 감소시켰다.
• PSF 매개변수 수동 조정 없이도 다양한 영상 조건에서 일관된 성능을 보였다.
• PSNR 및 SSIM과 같은 정량적 지표에서 기준 역세분화 기법 대비 뚜렷한 향상을 보였지만, 제공된 텍스트에는 정확한 수치가 기재되지 않았다.