[논문 리뷰] ML-SIM: A deep neural network for reconstruction of structured illumination microscopy images

Charles N. Christensen, Edward Ward외 2명|arXiv (Cornell University)|2020. 03. 24.

Advanced Fluorescence Microscopy Techniques참고 문헌 30인용 수 9

한 줄 요약

이 논문은 고해상도, 낮은 잡음, 실시간 성능을 갖춘 구조화된 조명 현미경(SIM) 영상 재구성에 적합한 딥 리서지드 신경망인 ML-SIM을 제안한다. 실험적 미세조정 없이 시뮬레이션된 데이터로 훈련된 ML-SIM은 노이즈가 많거나 비정규적인 조명 조건에서도 빠르고 강건한 재구성을 구현하며, 전통적 방법에 비해 잡음 내성, 대trast, 재구성 속도에서 뛰어난 성능을 보인다(프레임당 100ms).

ABSTRACT

Structured illumination microscopy (SIM) has become an important technique for optical super-resolution imaging because it allows a doubling of image resolution at speeds compatible for live-cell imaging. However, the reconstruction of SIM images is often slow and prone to artefacts. Here we propose a versatile reconstruction method, ML-SIM, which makes use of machine learning. The model is an end-to-end deep residual neural network that is trained on a simulated data set to be free of common SIM artefacts. ML-SIM is thus robust to noise and irregularities in the illumination patterns of the raw SIM input frames. The reconstruction method is widely applicable and does not require the acquisition of experimental training data. Since the training data are generated from simulations of the SIM process on images from generic libraries the method can be efficiently adapted to specific experimental SIM implementations. The reconstruction quality enabled by our method is compared with traditional SIM reconstruction methods, and we demonstrate advantages in terms of noise, reconstruction fidelity and contrast for both simulated and experimental inputs. In addition, reconstruction of one SIM frame typically only takes ~100ms to perform on PCs with modern Nvidia graphics cards, making the technique compatible with real-time imaging. The full implementation and the trained networks are available at http://ML-SIM.com.

연구 동기 및 목표

• 기존의 SIM 재구성 방법이 느리고 잡음과 매개변수 오차에 민감하며 잡음과 기계적 오차로 인한 잡음에 취약한 점을 해결하기 위해.
• 특히 생세포 영상에서의 실시간 재구성 가능성을 확보하기 위해, 비정규적인 단계 이동과 잡음이 있는 실험적 SIM 데이터에 강건한 재구성 방법을 개발하기 위해.
• 딥 러닝을 활용하여 프레임당 약 100ms로 처리 시간을 초당 수초에서 줄여 실시간 SIM 재구성을 가능하게 하기 위해.
• 실제 실험 데이터로의 훈련이 필요 없도록, 실제 이미징 조건을 시뮬레이션한 합성 SIM 데이터로 훈련함으로써 실험적 훈련 데이터가 필요 없도록 하기 위해.
• 특정 실험적 SIM 설정에 맞게 시뮬레이션 매개변수를 조정함으로써 재사용 가능하고 유연한 프레임워크를 구축하기 위해.

제안 방법

• ML-SIM는 원시 9프레임 SIM 스택에서 초해상도 영상으로 매핑하는 엔드 투 엔드 딥 리서지드 신경망(ResNet) 아키텍처를 사용한다.
• 훈련 데이터는 OpenSIM 라이브러리를 사용한 시뮬레이션을 통해 생성되며, PSF 블러링, 노이즈, 조명 패턴 매개변수를 포함한 전체 SIM 이미징 과정을 모델링한다.
• 시뮬레이션은 공간 주파수 $k_0$, 방향성 $\theta$, 단계 $\phi$, 변조 깊이 $m$ 등의 무작위 오차를 포함한 현실적인 결함을 반영한다.
• 모델은 DIV2K 데이터셋의 이미지로 훈련되며, 이미징 과정은 다음 식에 따라 시뮬레이션된다: $ D_{\theta,\phi} = (S \cdot I_{\theta,\phi}) \otimes H + N $, 여기서 $S$는 샘플, $I_{\theta,\phi}$는 조명 패턴, $H$는 PSF, $N$은 가우시안 노이즈이다.
• 재구성 오차를 최소화하고 잡음과 잡음 유형의 잡음 유형을 억제하기 위해 최적화되며, 입력 데이터가 노이즈가 많거나 부족한 경우에도 고주파 성분을 회복할 수 있도록 학습한다.
• 이 방법은 조정 가능하다: 예를 들어 NA, 픽셀 크기, 파장 등의 시뮬레이션 매개변수를 조정하여 실제 실험 시스템에 맞게 효과적으로 맞출 수 있으며, 실재 데이터로의 재훈련 없이도 가능하다.

실험 결과

연구 질문

• RQ1 합성 데이터로만 훈련된 딥 러닝 모델이 실험적 훈련 데이터가 없이도 고품질의 SIM 재구성을 달성할 수 있는가?
• RQ2 ML-SIM은 기존 방법에 비해 노이즈가 많거나 비정상적인 단계 이동이 있는 조건에서 어떻게 SIM 영상 재구성을 수행하는가?
• RQ3 ML-SIM은 시뮬레이션 및 실험적 SIM 데이터 모두에서 재구성 잡음 유형을 얼마나 줄이고, 대비와 재현 정확도를 향상시키는가?
• RQ4 프레임당 추론 시간이 짧아 생세포 영상에 적합한 실시간 재구성 속도를 달성할 수 있는가?
• RQ5 이 방법은 다양한 SIM 환경에 얼마나 일반화되어 있으며, 실재 데이터 재훈련 없이도 시뮬레이션만으로 새로운 실험적 설정에 적응할 수 있는가?

주요 결과

• 현대적인 Nvidia GPU에서 ML-SIM는 단일 SIM 프레임 재구성을 약 100ms 내로 수행하여 생세포 영상 중 실시간 처리가 가능하다.
• 기존 방법이 노이즈를 신호로 오인하기 쉬운 낮은 신호 대 잡음비 조건에서도 ML-SIM은 일반적인 SIM 재구성 잡음 유형을 크게 줄였다.
• FairSIM, OpenSIM, 상관관계 기반 재구성과 같은 기존 방법에 비해 ML-SIM는 더 뛰어난 재구성 정확도와 대비를 보였다.
• 입력 데이터에 비정상적인 단계 이동이나 매개변수 오류가 포함되어 있어도 모델은 강건한 성능을 유지하며, 특히 불안정한 단계 이동이 발생하는 간섭형 SIM 설정에서 기존 방법보다 뛰어난 성능을 보였다.
• 이 방법은 매우 적응 가능하다: NA, 픽셀 크기, 파장 등의 시뮬레이션 매개변수를 조정함으로써 실재 데이터 재훈련 없이도 다양한 실험적 SIM 시스템에 효과적으로 맞출 수 있다.
• 모든 구현 코드와 훈련된 모델는 http://ML-SIM.com 에 공개되어 있어 재현성과 커뮤니티의 도입을 지원한다.