[논문 리뷰] Weakly Supervised Cell Instance Segmentation by Propagating from Detection Response

Kazuya Nishimura, Dai Fei Elmer Ker외 1명|arXiv (Cornell University)|2019. 11. 29.

Cell Image Analysis Techniques참고 문헌 10인용 수 8

한 줄 요약

이 논문은 U-Net을 사용해 세포 탐지 모델을 훈련시키기 위해 중심점(annotation)을 활용하는 약한 지도 학습 기반의 인스턴스 세분화 방법을 제안한다. 이후 유도적 역전파(guided backpropagation)를 통해 정확한 인스턴스 세분화를 위한 기여 픽셀을 식별한다. 이 방법은 단일 핵 염색 형광 이미지만을 훈련 데이터로 사용함으로써 인간이 수작업으로 세그먼테이션 마스크를 작성하지 않은 상황에서도 여러 현미경 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Cell shape analysis is important in biomedical research. Deep learning methods may perform to segment individual cells if they use sufficient training data that the boundary of each cell is annotated. However, it is very time-consuming for preparing such detailed annotation for many cell culture conditions. In this paper, we propose a weakly supervised method that can segment individual cell regions who touch each other with unclear boundaries in dense conditions without the training data for cell regions. We demonstrated the efficacy of our method using several data-set including multiple cell types captured by several types of microscopy. Our method achieved the highest accuracy compared with several conventional methods. In addition, we demonstrated that our method can perform without any annotation by using fluorescence images that cell nuclear were stained as training data. Code is publicly available in "https://github.com/naivete5656/WSISPDR".

연구 동기 및 목표

• 비침습적 현미경 영상에서 경계가 모호하고 서로 겹치는 조건에서 개별 세포를 세분화하는 문제를 해결하기 위해.
• 세포 경계에 대한 시간이 많이 소요되는 정밀한 수작업 annotation에 의존도를 줄이기 위해 중심점 위치와 같은 약한 지도 학습을 사용하기 위해.
• 수동으로 작성된 세포 영역 마스크가 전혀 필요 없이 핵 염색 형광 영상을 훈련 데이터로 활용하여 인스턴스 세분화를 가능하게 하기 위해.
• 전통적인 방법이 광학적 잡음과 형태 변동성으로 인해 실패하는 복잡하고 밀집된 세포 배양 환경에서 세분화 정확도를 향상시키기 위해.
• 탐지 헤드에서의 네트워크 활성화 분석을 활용해 약한 지도 학습 기반의 인스턴스 세분화의 가능성을 입증하기 위해.

제안 방법

• 약한 레이블(중심점 위치)을 사용해 U-Net을 훈련시켜 세포 중심점 존재 가능성 예측을 수행하며, 이는 암묵적으로 세포 형태 정보를 포함한다.
• 탐지 네트워크의 특징 맵에 대해 유도적 역전파를 적용하여 각 개별 세포 탐지에 기여하는 픽셀을 식별한다.
• 유도적 역전파에서 유도된 기여도 맵을 임계값 설정 및 후처리를 통해 인스턴스 세분화 마스크로 변환한다.
• 이 방법은 세포 영상 패치를 대상으로 엔드 투 엔드로 훈련되며, 탐지에 대한 중심점 annotation이 supervision으로 사용된다.
• 수동 annotation이 없는 상황에서는 형광 핵 영상을 입력으로 사용해 훈련하며, 수동 세그먼테이션 마스크가 전혀 필요 없다.
• 여러 세포에 걸친 기여도 맵을 융합하여 최종 인스턴스 세분화 예측를 생성한다.

실험 결과

연구 질문

• RQ1 중심점 annotation만을 사용해도 조밀하게 배열된 세포의 정확한 인스턴스 세분화를 달성할 수 있는가?
• RQ2 탐지 네트워크에서 유도적 역전파를 통해 인스턴스 세분화에 특정 영역 기여도를 효과적으로 식별할 수 있는가?
• RQ3 재학습 없이도 다양한 세포 유형과 현미경 모odalities에 일반화 가능한가?
• RQ4 핵 염색 형광 영상만을 훈련 데이터로 사용함으로써 수동 세포 경계 annotation이 완전히 제거 가능한가?
• RQ5 정확도와 내성 면에서 기존의 약한 지도 학습 및 완전 지도 학습 세분화 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 세포 탐지에서 모든 데이터셋에서 최고의 F-측정치를 기록했으며, 수동 마스크가 없는 데이터셋에서는 형광 핵 영상만을 사용해도 가장 높은 성능를 보였다.
• 인스턴스 세분화에서 모든 테스트 데이터셋(C2C12, B23P17, NSC 포함)에서 최고의 평균 Dice 계수(mDice)를 기록했으며, Bensh, Yin, Chalfoun 방법을 모두 앞섰다.
• C2C12 데이터셋에서 mDice는 0.82를 기록했으며, 다음으로 높은 성능를 보인 방법(0.76)보다 유의미하게 뛰어났다.
• 단계적 대비, 차등 간섭 현미경, 다양한 세포 밀도 등 다양한 영상 조건에서도 강인한 성능를 보였다.
• 수동 annotation이 없는 설정에서, 핵 염색 영상만을 사용해도 mDice 0.78를 달성하여 annotation-free 훈련의 가능성을 입증했다.
• 모든 방법, 포함해 제안된 방법까지도 매우 얇은 경계 영역에서는 어려움을 겪었으며, 향후 연구 과제로 남아 있다.