[논문 리뷰] Advancing biological super-resolution microscopy through deep learning: a brief review

Tianjie Yang, Yaoru Luo외 2명|arXiv (Cornell University)|2021. 06. 24.

Advanced Fluorescence Microscopy Techniques참고 문헌 136인용 수 30

한 줄 요약

이 리뷰는 초해상도 현미경을 위한 딥러닝의 최근 발전을 종합하여, 신경망이 공간 해상도와 시간 해상도를 향상시키고 광손상을 줄이며 영상 복원을 향상시킬 수 있음을 보여준다. Deep-STORM, smNET, DFGAN 등의 최신 모델은 잡음이 적고 고해상도를 달성하여 실시간 세포 응용에서 더 빠르고 낮은 조명 조건에서의 촬영을 가능하게 한다.

ABSTRACT

Super-resolution microscopy overcomes the diffraction limit of conventional light microscopy in spatial resolution. By providing novel spatial or spatio-temporal information on biological processes at nanometer resolution with molecular specificity, it plays an increasingly important role in life sciences. However, its technical limitations require trade-offs to balance its spatial resolution, temporal resolution, and light exposure of samples. Recently, deep learning has achieved breakthrough performance in many image processing and computer vision tasks. It has also shown great promise in pushing the performance envelope of super-resolution microscopy. In this brief Review, we survey recent advances in using deep learning to enhance performance of super-resolution microscopy. We focus primarily on how deep learning ad-vances reconstruction of super-resolution images. Related key technical challenges are discussed. Despite the challenges, deep learning is set to play an indispensable and transformative role in the development of super-resolution microscopy. We conclude with an outlook on how deep learning could shape the future of this new generation of light microscopy technology.

연구 동기 및 목표

• 딥러닝의 초해상도 현미경에 대한 통합을 검토하여 영상 복원을 향상시키는 것.
• 잡음, 일반화, 강건성 및 해석 가능성과 관련된 핵심 기술적 과제를 규명하는 것.
• STORM, SIM, STED, PALM와 같은 다양한 초해상도 모odalities에서 딥러닝 모델의 성능을 평가하는 것.
• 차세대 고성능 광학 현미경을 가능하게 하는 딥러닝의 향후 방향을 제시하는 것.

제안 방법

• 저해상도, 노이즈가 많거나 희소한 원시 데이터에서 초해상도 영상을 복원하기 위해 합성곱 신경망(CNN)과 생성적 적대적 네트워크(GAN)를 활용한다.
• 복원 정확도를 최적화하기 위해 평균 제곱오차(MSE), L1 정규화, 구조적 유사도(SSIM) 등의 손실 함수를 적용한다.
• 모델 일반화를 향상시키기 위해 쌍체 및 증강된 데이터를 포함한 합성 및 실험 데이터셋을 활용한다.
• 네트워크 학습을 안내하고 복원 정확도를 향상시키기 위해 물리적 사전 지식과 설계된 점원형함수(PSFs)를 활용한다.
• 다양한 현미경 및 촬영 조건에서의 강건성을 향상시키기 위해 전이 학습 및 도메인 적응 기법을 적용한다.
• 모델 성능을 정량적으로 평가하기 위해 NMSE, FWHM, PSNR, SSIM, FRC와 같은 지표를 사용한다.

실험 결과

연구 질문

• RQ1 딥러닝은 초해상도 현미경의 공간 해상도와 시간 해상도를 향상시키면서 광손상을 최소화하는 데 어떻게 기여할 수 있는가?
• RQ2 특히 잡음, 일반화 및 강건성 측면에서 딥러닝을 초해상도 영상 복원에 적용할 때의 핵심 기술적 과제는 무엇인가?
• RQ3 딥러닝 기반 방법은 전통적인 영상 처리 기법에 비해 복원 정확도와 속도에서 어느 정도 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 ResNet, VGG16, U-Net 등의 다양한 네트워크 아키텍처는 2D/3D-STORM, SIM, STED와 같은 다양한 초해상도 모달리티에서 어떻게 성능을 발휘하는가?
• RQ5 합성 데이터로 훈련된 딥러닝 모델은 실제 실험 영상 환경에 효과적으로 일반화될 수 있는가?

주요 결과

• Deep-STORM와 smNET는 2D 및 3D-STORM에서 50 nm 이하 해상도를 달성했으며, 기준 방법 대비 NMSE를 최대 50% 감소시켰다.
• DFGAN 및 DFCAN 모델은 SIM 복원에서 NRMSE를 30–40% 감소시켜 해상도 향상과 분리 잡음 감소를 달성했다.
• GAN 기반 모델인 Res-UNet은 광시야각 및 공초점 영상에서 PSNR를 5–8 dB 향상시키고 SSIM을 0.1–0.2 증가시켰다.
• ANNA-PALM과 같은 모델은 PALM 영상에서 시간 해상도를 2–3배 향상시켜 신호 손실을 최소화하면서 더 빠른 실시간 세포 영상 촬영을 가능하게 했다.
• 딥러닝 기반 노이즈 제거 기법은 STED 및 SMLM에서 레이저 노출량을 최대 50% 감소시켜 광세포성을 크게 감소시켰다.
• 딥러닝을 활용한 스펙트럼 분리 기법은 다색 영상에서 교차 오염을 감소시켜 효과적인 해상도 향상과 촬영 속도 향상을 달성했다.