[논문 리뷰] Multicolor localization microscopy by deep learning

Eran Hershko, Lucien E. Weiss외 2명|arXiv (Cornell University)|2018. 07. 04.

Advanced Fluorescence Microscopy Techniques참고 문헌 39인용 수 3

한 줄 요약

이 논문은 스펙트럼 필터나 복잡한 광학 장치 없이도 표준 회색조 카메라를 사용하여 다색 국소화 현미경을 가능하게 하는 딥러닝 기반 접근법을 제안한다. 점상함수의 색채 의존성에 기반하여 정적 및 이동 중 조건에서 단일 발광체의 색상을 정확하게 분류할 수 있으며, 색상 해상도 향상을 위해 학습된 위상 조절 요소를 통해 추가로 향상시킬 수 있다.

ABSTRACT

Deep learning has become an extremely effective tool for image classification and image restoration problems. Here, we apply deep learning to microscopy, and demonstrate how neural networks can exploit the chromatic dependence of the point-spread function to classify the colors of single emitters imaged on a grayscale camera. While existing single-molecule methods for spectral classification require additional optical elements in the emission path, e.g. spectral filters, prisms, or phase masks, our neural net correctly identifies static as well as mobile emitters with high efficiency using a standard, unmodified single-channel configuration. Furthermore, we demonstrate how deep learning can be used to design phase-modulating elements that, when implemented into the imaging path, result in further improved color differentiation between species.

연구 동기 및 목표

• 추가적인 스펙트럼 광학 구성 요소 없이 다색 단일 분자 국소화 현미경을 가능하게 하기 위해.
• 회색조 카메라의 강도 데이터만을 사용하여 단일 발광체의 색상을 분류하기 위해.
• 점상함수의 색채 변동성을 활용하는 딥러닝 프레임워크를 개발하여 색상 구분을 가능하게 하기 위해.
• 학습을 통해 위상 조절 요소를 설계하여 영상 경로 내 색상 분별력을 추가로 향상시키기 위해.

제안 방법

• 단일 발광체의 색상을 그 강도 패턴에 기반하여 분류하기 위해 컨volutional 신경망을 훈련시킨다.
• 다양한 발광 파장에서의 점상함수의 본질적 색채 의존성을 활용한다.
• 정적 및 이동 중 발광체를 모두 일반화하기 위해 다양한 색상과 위치를 가진 단일 발광체의 시뮬레이션 데이터를 기반으로 네트워크를 훈련시킨다.
• 영상 시스템 내 스펙트럼 분리 성능을 향상시키기 위해 미분 가능한 설계 프레임워크를 사용하여 위상 조절 요소를 최적화한다.
• 훈련된 신경망을 하드웨어 수정 없이 표준 단일 채널 현미경 설정에 구현한다.
• 네트워크와 함께 위상 마스크를 공동 설계하여 색상 분류 정확도를 최대화한다.

실험 결과

연구 질문

• RQ1 딥러닝은 단지 회색조 강도 데이터만을 사용하여 단일 발광체의 색상을 정확하게 분류할 수 있는가?
• RQ2 스펙트럼 필터 없이도 정적 및 이동 중 발광체를 다수의 색상으로 구분할 수 있는가?
• RQ3 학습된 위상 조절 요소는 기존 이미징 구성보다 색상 해상도를 향상시킬 수 있는가?
• RQ4 점상함수의 색채 변화는 단일 채널 시스템에서 어떻게 색상 분류를 가능하게 하는가?

주요 결과

• 딥러닝 모델은 추가적인 스펙트럼 광학 장치 없이도 단일 발광체의 색상 분류를 높은 정확도로 수행한다.
• 이 방법은 정적 및 이동 중 발광체를 모두 높은 효율성으로 분류하여 운동에 대한 강건성을 입증한다.
• 신경망은 점상함수의 색채 의존성을 활용하여 강도 패턴만으로도 발광체의 색상을 추론한다.
• 학습된 위상 조절 요소는 색상 분별력을 크게 향상시켜 시스템의 스펙트럼 해상도를 향상시킨다.
• 이 접근법은 표준으로 수정되지 않은 단일 채널 이미징 설정에서 다색 국소화 현미경을 가능하게 한다.