[논문 리뷰] Extracting quantitative biological information from brightfield cell images using deep learning

Saga Helgadóttir, Benjamin Midtvedt외 6명|arXiv (Cornell University)|2020. 12. 23.

Cell Image Analysis Techniques참고 문헌 48인용 수 4

한 줄 요약

이 논문은 인간 줄기세포 유래 지방세포의 밝기 현미경 영상에서 가상으로 염색된 형광 유사 영상을 생성하기 위해 조건부 생성적 적대 신경망(cGAN)을 사용하는 딥러닝 접근법을 제안한다. 이 방법은 지방 소체, 세 cytoplasm, 세포핵을 정확하고 비침습적으로 정량화할 수 있게 하여 기존의 화학적 염색에 비해 독성이 낮고, 비용이 저렴하며 더 재현성이 높은 대안을 제공하며, 세포 수세기 및 형태 분석에서 유사한 정확도를 확보한다.

ABSTRACT

Quantitative analysis of cell structures is essential for biomedical and pharmaceutical research. The standard imaging approach relies on fluorescence microscopy, where cell structures of interest are labeled by chemical staining techniques. However, these techniques are often invasive and sometimes even toxic to the cells, in addition to being time-consuming, labor-intensive, and expensive. Here, we introduce an alternative deep-learning-powered approach based on the analysis of brightfield images by a conditional generative adversarial neural network (cGAN). We show that this approach can extract information from the brightfield images to generate virtually-stained images, which can be used in subsequent downstream quantitative analyses of cell structures. Specifically, we train a cGAN to virtually stain lipid droplets, cytoplasm, and nuclei using brightfield images of human stem-cell-derived fat cells (adipocytes), which are of particular interest for nanomedicine and vaccine development. Subsequently, we use these virtually-stained images to extract quantitative measures about these cell structures. Generating virtually-stained fluorescence images is less invasive, less expensive, and more reproducible than standard chemical staining; furthermore, it frees up the fluorescence microscopy channels for other analytical probes, thus increasing the amount of information that can be extracted from each cell.

연구 동기 및 목표

• 기존 형광 염색 기법의 한계, 즉 세포 독성, 광분해, 노동 집약적인 프로토콜을 해결하기 위해.
• 밝기 현미경 영상을 입력으로 사용하여 비침습적이고 비용 효율적인 정량적 세포 구조 분석을 위한 대안을 개발하기 위해.
• 화학 염료가 필요 없게 하여 세포의 형광 채널을 다른 프로브에 사용할 수 있도록 하여 종단적 및 고 throughput 연구를 가능하게 하기 위해.
• 생물학적으로 관련성이 있는 가상 염색 영상을 생성할 수 있음을 입증하고, 이를 정확한 후속 정량 분석에 활용 가능하게 하기 위해.
• 다양한 생물의학적 적용 분야에서 사용 및 커스터마이징이 가능한 오픈소스 소프트웨어 패키지를 제공하기 위해.

제안 방법

• 밝기 현미경 영상에서 합성된 형광 염색 영상으로의 매핑을 학습하기 위해 조건부 생성적 적대 신경망(cGAN)을 훈련시켰다.
• 초기 형광 영상와 대응하는 실제 형광 영상로 지도 학습을 수행하기 위해 인간 줄기세포 유래 지방세포의 밝기 현미경 영상을 입력으로 사용하였다.
• 밝기 현미경 영상의 공간적 맥락과 대비 패턴을 활용하여 지방 소체, 세 cytoplasm, 세포핵과 같은 구조를 높은 정밀도로 재구성하였다.
• 실제 텍스처와 구조 일관성을 확보하기 위해 U-Net 기반 생성기와 PatchGAN 기반 판별기를 사용하였다.
• 훈련된 cGAN을 활용해 실제 염색이 필요 없이 후속 정량 분석을 위한 가상 염색 영상을 생성하였다.
• 표준 이미지 분석 파이프라인을 적용하여 생성된 영상에서 세포핵 수, 면적, 강도와 같은 지표를 추출하여 방법을 검증하였다.

실험 결과

연구 질문

• RQ1 cGAN 모델이 지방세포의 주요 세포 내 구조에 대해 밝기 현미경 영상에서 형광 유사 영상을 정확하게 생성할 수 있는가?
• RQ2 가상 염색 영상의 성능은 화학적 염색 형광 영상에 비해 정량적 형태 분석 지표에서 어떻게 비교되는가?
• RQ3 가상 염색 방법이 종단적 또는 고내용 스크리닝 응용 분야에서 후속 분석에 대해 생물학적 관련성을 어느 정도 유지하는가?
• RQ4 이 방법은 광학적 특성이 뚜렷한 다른 세포 유형과 세포 내 구조로 일반화될 수 있는가?
• RQ5 이 접근법은 정량적 세포 분석의 재현성과 정확도를 유지하면서 실험 부담을 줄일 수 있는가?

주요 결과

• cGAN가 생성한 가상 염색 영상로 세포핵 수와 평균 면적을 정확하게 정량화할 수 있었으며, 화학적 염색 형광 영상와 유사한 결과를 도출하였다.
• 이 방법은 살아있는 세포 영상에서 Hoechst 33342의 광세포독성 위험에도 불구하고 세포핵의 신뢰성 있는 세분화 및 수세기 분석이 가능하였다.
• 밝기 현미경 영상에서 명확하게 보이는 지방 소체는 화학적 염색 없이도 고정밀도로 재구성되어 크기와 내용물이 정량화되었다.
• 밝기 현미경에서 대비가 낮은 세 cytoplasm과 세포핵도 네트워크가 공간적 맥락(지방 소체 분포)을 활용하여 효과적으로 재구성하였다.
• 가상 염색 과정에서 핵막의 미세한 염색 텍스처 정보는 밝기 현미경 입력에 이러한 특징이 없어 포착되지 않았지만, 대부분의 형태 분석에서는 이에 영향을 주지 않았다.
• 이 방법은 실험 간에 높은 재현성과 안정성을 보였으며, 염색 프로토콜 최적화가 필요 없어, 교차 실험실 비교 및 고 throughput 스크리닝에 적합하다.