[논문 리뷰] Automatic Cell Counting in Flourescent Microscopy Using Deep Learning

R. Morelli, L. Clissa외 4명|arXiv (Cornell University)|2021. 02. 24.

Cell Image Analysis Techniques참고 문헌 11인용 수 7

한 줄 요약

이 논문은 중복된 영역에서의 검출을 향상시키기 위해 가중치가 부여된 손실 맵을 사용한 수정된 ResUNet 아키텍처를 기반으로 한 딥러닝 기반의 형광 현미경에서의 자동 세포 수세기 방법을 제안한다. 모델은 F₁ 스코어 0.87을 달성하며 인간 수준의 성능을 보이며, 오류는 주로 운영자 해석 범위 내에 있어 생물학적 영상 분석에서 수작업을 크게 줄였다.

ABSTRACT

Counting cells in fluorescent microscopy is a tedious, time-consuming task that researchers have to accomplish to assess the effects of different experimental conditions on biological structures of interest. Although such objects are generally easy to identify, the process of manually annotating cells is sometimes subject to arbitrariness due to the operator's interpretation of the borderline cases. We propose a Machine Learning approach that exploits a fully-convolutional network in a binary segmentation fashion to localize the objects of interest. Counts are then retrieved as the number of detected items. Specifically, we adopt a UNet-like architecture leveraging residual units and an extended bottleneck for enlarging the field-of-view. In addition, we make use of weighted maps that penalize the errors on cells boundaries increasingly with overcrowding. These changes provide more context and force the model to focus on relevant features during pixel-wise classification. As a result, the model performance is enhanced, especially in presence of clumping cells, artifacts and confounding biological structures. Posterior assessment of the results with domain experts confirms that the model detects cells of interest correctly. The model demonstrates a human-level ability inasmuch even erroneous predictions seem to fall within the limits of operator interpretation. This qualitative assessment is also corroborated by quantitative metrics as an ${F_1}$ score of 0.87. Despite some difficulties in interpretation, results are also satisfactory with respect to the counting task, as testified by mean and median absolute error of, respectively, 0.8 and 1.

연구 동기 및 목표

• 형광 현미경 영상에서 수작업 세포 수세기의 시간 소모적이고 주관적인 작업을 자동화하는 것.
• 경계에 해당하는 세포 케이스를 식별할 때 발생하는 운영자 피로도와 관측자 간 변동성을 줄이는 것.
• 결과에 대한 근거로 세포 수와 함께 시각적 세그멘테이션 맵을 제공하는 모델을 개발하는 것.
• 세포 덩어리, 잡음, 저대비 영역과 같은 어려운 조건에서의 성능을 향상시키는 것.
• 모호한 케이스에서도 인간 수준의 신뢰성 있는 세포 검출 및 수세기 성능을 달성하는 것.

제안 방법

• 이중 세그멘테이션을 위한 UNet 유사 아키텍처에 잔차 단위와 확장된 볼록부를 적용한 완전 컨볼루션 신경망을 사용한다.
• 과도하게 붐비는 영역에서 경계 오류에 더 높은 가중치를 적용하기 위해 가중치가 부여된 손실 맵을 적용하여 농도가 높은 세포 군집에서의 국소화 성능을 향상시킨다.
• 모델은 픽셀 단위의 세그멘테이션 마스크를 예측하도록 훈련되며, 이로부터 검출된 개체 수로 세포 수를 유도한다.
• 매개변수를 크게 증가시키지 않으면서도 수용영역을 확장하여 맥락 이해 능력을 향상시키기 위해 아키텍처를 설계하였다.
• 확장된 컨볼루션을 적용하여 감지 영역을 확장해봤지만, 잡음 생성으로 인해 유의미한 성능 향상이 이루어지지 않았다.
• 완전 컨볼루션 설계 덕분에 다양한 크기의 이미지에 대한 추론이 가능하여 유연한 구현이 가능하다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 형광 현미경 영상에서 세포 수를 인간 수준의 정확도로 세는 데 성공할 수 있는가?
• RQ2 가중치가 부여된 손실 맵의 사용이 혼잡하거나 겹치는 세포 영역에서의 성능에 어떤 영향을 미치는가?
• RQ3 모델의 오류가 인간 운영자 해석에 내재된 불확실성과 어느 정도 일치하는가?
• RQ4 재학습 없이도 다양한 세포 형태, 강도, 영상 품질에 대해 일반화 가능한가?
• RQ5 네트워크 아키텍처에서 확장된 시야 범위가 세그멘테이션 및 수세기 정확도를 어떻게 향상시키는가?

주요 결과

• 모델은 F₁ 스코어 0.87을 달성하여 세포 검출 및 세그멘테이션에서 뛰어난 성능을 보였다.
• 세포 수세기의 평균 절대 오차는 0.8이며, 중앙 절대 오차는 1이었으며, 이는 지표값과의 높은 일관성을 보여주었다.
• 거짓 양성 및 거짓 음성은 종종 경계에 해당하는 케이스로 해석되었으며, 인간 운영자 불확실성과의 일치를 확인하였다.
• 가중치가 부여된 손실 맵 덕분에 뭉쳐진 세포나 맞닿은 세포의 검출이 크게 향상되었으며, 특히 붐비는 영역에서 경계 정확도를 강조함으로써 성능 향상이 이루어졌다.
• 도메인 전문가들은 심지어 잘못된 예측조차도 인간 해석의 범위 내에서 타당하게 보였다고 확인하여 인간 수준의 신뢰성을 입증하였다.
• 모델은 재학습 없이도 낮은 품질의 영상과 도전적인 영상에 잘 일반화되었으며, 체계적인 실패 없이 강건성을 보였다.