[논문 리뷰] BriFiSeg: a deep learning-based method for semantic and instance segmentation of nuclei in brightfield images

Gendarme Mathieu, Lambert Annika M.외 1명|arXiv (Cornell University)|2022. 11. 06.

Cell Image Analysis Techniques인용 수 4

한 줄 요약

BriFiSeg는 사전 훈련된 인코더를 사용하는 U-Net 기반 아키텍처를 활용하여 염색되지 않은 밝기현미경 영상에서 세포핵의 정확한 의미적 및 인스턴스 세분화를 가능하게 하는 딥러닝 프레임워크이다. 이는 면역형광염색 또는 특수한 샘플 준비 없이 다양한 생물학적 맥락에서 강력한 성능을 발휘한다.

ABSTRACT

Generally, microscopy image analysis in biology relies on the segmentation of individual nuclei, using a dedicated stained image, to identify individual cells. However stained nuclei have drawbacks like the need for sample preparation, and specific equipment on the microscope but most importantly, and as it is in most cases, the nuclear stain is not relevant to the biological questions of interest but is solely used for the segmentation task. In this study, we used non-stained brightfield images for nuclei segmentation with the advantage that they can be acquired on any microscope from both live or fixed samples and do not necessitate specific sample preparation. Nuclei semantic segmentation from brightfield images was obtained, on four distinct cell lines with U-Net-based architectures. We tested systematically deep pre-trained encoders to identify the best performing in combination with the different neural network architectures used. Additionally, two distinct and effective strategies were employed for instance segmentation, followed by thorough instance evaluation. We obtained effective semantic and instance segmentation of nuclei in brightfield images from standard test sets as well as from very diverse biological contexts triggered upon treatment with various small molecule inhibitor. The code used in this study was made public to allow further use by the community.

연구 동기 및 목표

• 핵 염색에 의존하지 않고 밝기현미경 영상에서 세포핵 세분화를 위한 방법을 개발하는 것.
• 세포핵 세분화 작업에서 특수한 샘플 준비 및 면역형광염색이 필요 없도록 하는 것.
• 표준 밝기현미경을 사용하여 생체 또는 고정된 샘플에서의 세분화를 가능하게 하는 것.
• U-Net 아키텍처와 조합된 사전 훈련된 인코더의 성능을 평가하는 것.
• 다양한 생물학적 맥락에 적용 가능한 공개된, 일반화 가능한 세포핵 세분화 솔루션을 제공하는 것.

제안 방법

• 밝기현미경 영상에서 세포핵의 의미적 세분화를 위한 U-Net 기반 딥러닝 신경망 아키텍처를 활용한다.
• 특징 추출 및 모델 일반화를 향상시키기 위해 사전 훈련된 인코더(예: ResNet, EfficientNet)를 적용한다.
• 중첩되거나 군집된 영역에서 개별 세포핵을 분리할 수 있도록 두 가지 다른 인스턴스 세분화 전략을 적용한다.
• 세분화 헤드와의 최적 조합을 도출하기 위해 다양한 인코더 아키텍처를 체계적으로 평가한다.
• 작은 분자 억제제로 치료된 세포선량을 포함한 네 가지 다른 세포선량에서 모델을 훈련하고 검증한다.
• 커뮤니티의 활용과 향후 개발을 지원하기 위해 소스 코드를 공개한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 핵 염색에 의존하지 않고 염색되지 않은 밝기현미경 영상에서 정확한 세포핵 세분화를 달성할 수 있는가?
• RQ2 사전 훈련된 인코더는 밝기현미경에서 U-Net 기반 세분화 모델의 성능에 어떤 영향을 미치는가?
• RQ3 밝기현미경 영상에서 밀도가 높거나 중첩된 세포핵 영역에서의 인스턴스 세분화에 가장 효과적인 전략은 무엇인가?
• RQ4 이 방법은 약물 치료된 샘플을 포함한 다양한 생물학적 조건에서 일반화 가능한가?
• RQ5 정확도와 강건성 측면에서 기존의 염색에 의존하는 세분화 방법과 비교해 BriFiSeg의 성능은 어떠한가?

주요 결과

• BriFiSeg는 네 가지 다른 세포선량에서 밝기현미경 영상에서 세포핵의 효과적인 의미적 및 인스턴스 세분화를 달성한다.
• 이 방법은 표준 테스트 세트뿐 아니라 작은 분자 억제제로 치료된 샘플을 포함한 다양한 생물학적 맥락에서도 강력한 성능을 보인다.
• 사전 훈련된 인코더는 U-Net 아키텍처와 조합될 경우 세분화 성능을 크게 향상시킨다.
• 두 가지 다른 인스턴스 세분화 전략이 효과적으로 기능하여 개별 세포핵을 정확히 분리할 수 있었다.
• 이 프레임워크는 생체 및 고정 샘플 모두에 적용 가능하며, 특수한 염색이나 샘플 준비가 필요 없다.
• 코드베이스는 공개되어 있어 재현성과 연구 공동체 내 광범위한 활용을 가능하게 한다.