[논문 리뷰] Quantitative Digital Microscopy with Deep Learning

Benjamin Midtvedt, Saga Helgadóttir외 4명|Figshare|2020. 10. 16.

Cell Image Analysis Techniques참고 문헌 83인용 수 4

한 줄 요약

이 논문은 합성 또는 증강 데이터를 사용하여 정량적 디지털 현미경에서의 딥러닝 모델 설계, 훈련 및 검증을 가능하게 하는 오픈소스이자 사용자 친화적인 소프트웨어 프레임워크인 DeepTrack 2.0을 소개한다. 이는 광범위한 프로그래밍 경험이 없이도 높은 정확도의 입자 추적, 세포 수세기 및 분류를 달성하여, 현미경 분야에서 딥러닝의 접근 장벽을 크게 낮춘다.

ABSTRACT

Video microscopy has a long history of providing insights and breakthroughs for a broad range of disciplines, from physics to biology. Image analysis to extract quantitative information from video microscopy data has traditionally relied on algorithmic approaches, which are often difficult to implement, time consuming, and computationally expensive. Recently, alternative data-driven approaches using deep learning have greatly improved quantitative digital microscopy, potentially offering automatized, accurate, and fast image analysis. However, the combination of deep learning and video microscopy remains underutilized primarily due to the steep learning curve involved in developing custom deep-learning solutions. To overcome this issue, we introduce a software, DeepTrack 2.0, to design, train and validate deep-learning solutions for digital microscopy. We use it to exemplify how deep learning can be employed for a broad range of applications, from particle localization, tracking and characterization to cell counting and classification. Thanks to its user-friendly graphical interface, DeepTrack 2.0 can be easily customized for user-specific applications, and, thanks to its open-source object-oriented programming, it can be easily expanded to add features and functionalities, potentially introducing deep-learning-enhanced video microscopy to a far wider audience.

연구 동기 및 목표

• 딥러닝을 영상 현미경에 적용할 때 발생하는 높은 학습 곡선과 구현 과제를 해결하기 위해 접근성이 높고 통합된 소프트웨어 솔루션을 제공함.
• 전통적인 알고리즘적 접근 방식의 한계를 극복하고, 딥러닝을 활용해 정량적 현미경에서 정확하고 빠르며 자동화된 영상 분석을 실현함.
• 수동으로 레이블링된 데이터셋에 대한 의존도를 줄이기 위해, 알려진 참값을 가진 물리적 시뮬레이션을 통한 합성 훈련 데이터 사용을 촉진함.
• 비전문가 사용자를 위한 그래픽 사용자 인터페이스와 확장 가능한 객체 지향 코드베이스를 통해 딥러닝의 접근성을 넓힘.
• 특정 실험 설정에 맞게 최적화된 효율적이고 구현 가능한 딥러닝 모델을 제공함으로써 실시간 분석 및 피드백 시스템을 지원함.

제안 방법

• DeepTrack 2.0은 비프로그래머를 위한 그래픽 사용자 인터페이스(GUI)를 제공하여 현미경 작업을 위한 딥러닝 모델 설계, 훈련 및 검증을 가능하게 함.
• 프레임워크는 물리적 시뮬레이션을 통해 생성된 합성 데이터를 사용한 엔드 투 엔드 훈련을 지원하며, 국소화, 추적 및 분류 작업에 정확한 참값을 보장함.
• 조건부 생성 적대 신경망(cGAN)을 활용하며, 생성기 손실은 $ l_{\text{G}} = \nu \cdot \text{MAE}\{z_{\text{label}}, z_{\text{output}}\} + (1 - D(z_{\text{output}}))^2 $, 판별기 손실은 $ l_{\text{D}} = D(z_{\text{output}})^2 + (1 - D(z_{\text{label}}))^2 $ 로 정의되며, 여기서 $ D $ 는 판별기 네트워크임.
• 모델은 Adam 옵timizer를 사용하여 학습률 0.0002와 $ \beta_1 = 0.5 $ 로 설정하고, 1000 에포크 동안 1회에 16개의 미니배치로 훈련함.
• 데이터 증강을 위해, 합성 데이터 생성이 불가능한 경우 실시간으로 영상 변환을 수행하여 훈련 데이터를 확장함.
• 오픈소스이자 객체 지향 아키텍처를 기반으로 하여, 새로운 모델과 기능을 위한 확장성과 커뮤니티 기여를 가능하게 함.

Figure 1: Brief history of quantitative microscopy and particle tracking. A - B 1910–1950: The manual analysis era. A Examples of manually tracked trajectories of colloids in a suspension from Perrin’s experiment that convinced the world of the existence of atoms Perrin ( 1910 ) . The time resolutio

실험 결과

연구 질문

• RQ1 정량적 현미경을 위한 정확하고 응용 분야에 특화된 모델을 비전문가 사용자가 개발할 수 있는 딥러닝 프레임워크를 개발할 수 있는가?
• RQ2 정확한 참값이 제공되는 합성 훈련 데이터가 기존 알고리즘적 방법에 비해 입자 추적 및 세포 분석에서 얼마나 뛰어난 성능을 보일 수 있는가?
• RQ3 GUI 기반 딥러닝 플랫폼은 프로그래밍 전문 지식이 없는 연구자들이 현미경 영상 분석 분야에서 딥러닝을 접하는 데에 얼마나 효과적으로 장벽을 낮출 수 있는가?
• RQ4 DeepTrack 2.0의 실시간 데이터 증강은 복잡하거나 희귀한 샘플 형태의 경우 합성 데이터 생성의 한계를 보완하는 데 얼마나 효과적인가?
• RQ5 딥러닝은 광학적 힘 제어나 적응형 영상 촬영과 같은 실시간 피드백 시스템을 위한 현미경 실험에 어떤 잠재력을 지닐 수 있는가?

주요 결과

• DeepTrack 2.0는 순수하게 합성 훈련 데이터를 사용하여 정확한 입자 국소화, 추적 및 특성 분석을 가능하게 하며, 기존 알고리즘적 방법과 비교해도 유사하거나 뛰어난 성능을 달성함.
• 프레임워크의 cGAN 기반 영상 생성 모델은 세분화 마스크에서부터 실제 실험 데이터와 유사한 질감을 지닌 세포 유사 영상을 성공적으로 생성하였으며, 미세한 질감 세부 사항이 부족하더라도 정성적 유사성이 높음.
• 정확한 참값을 가진 합성 데이터 사용은 다양한 이미징 설정과 운영자 간의 일반화 능력을 향상시켜 인간 레이블링 데이터셋의 한계를 극복함.
• GUI와 오픈소스이자 확장 가능한 아키텍처 덕분에 DeepTrack 2.0은 프로그래밍 경험이 적은 연구자들이 딥러닝 모델을 개발하고 배포할 수 있도록 접근 장벽을 크게 낮춤.
• 프레임워크는 실시간 추론 가능성을 지원하여, 이미징 파rameter나 광학적 힘을 동적으로 제어하기 위한 피드백 루프 실험 시스템의 구현을 위한 길을 열어줌.
• 저자들은 물리적 시뮬레이션을 딥러닝을 위한 현미경 데이터 부족 문제 해결에 실용적이고 강력한 솔루션으로 제시하며, 특히 단일 입자 추적과 같은 고정밀도 작업에 적합함을 입증함.

Figure 2: Image segmentation with deep learning. A Lung cell classification and mutation prediction Coudray et al. ( 2018 ) , using Inception v3 Szegedy et al. ( 2015 ) : Non-overlapping tiles in the input are analyzed, returning a low-resolution segmentation mask, containing either just a binary cl