[논문 리뷰] NuClick: A Deep Learning Framework for Interactive Segmentation of Microscopy Images

Navid Alemi Koohbanani, Mostafa Jahanifar외 2명|arXiv (Cornell University)|2020. 05. 29.

AI in cancer detection참고 문헌 72인용 수 9

한 줄 요약

NuClick는 조직도 및 세포도 이미지에서 핵, 세포, 샘을 최소한의 사용자 입력(간단한 구조물의 경우 하나의 클릭, 복잡한 경우 스위글)을 사용하여 상호작용형 분할을 위한 딥러닝 프레임워크이다. 이 프레임워크는 최신 기술 수준의 성능을 달성하였으며, NuClick로 생성된 마스크를 학습한 모델이 LYON19 챌린지에서 1등을 차지하였다.

ABSTRACT

Object segmentation is an important step in the workflow of computational pathology. Deep learning based models generally require large amount of labeled data for precise and reliable prediction. However, collecting labeled data is expensive because it often requires expert knowledge, particularly in medical imaging domain where labels are the result of a time-consuming analysis made by one or more human experts. As nuclei, cells and glands are fundamental objects for downstream analysis in computational pathology/cytology, in this paper we propose a simple CNN-based approach to speed up collecting annotations for these objects which requires minimum interaction from the annotator. We show that for nuclei and cells in histology and cytology images, one click inside each object is enough for NuClick to yield a precise annotation. For multicellular structures such as glands, we propose a novel approach to provide the NuClick with a squiggle as a guiding signal, enabling it to segment the glandular boundaries. These supervisory signals are fed to the network as auxiliary inputs along with RGB channels. With detailed experiments, we show that NuClick is adaptable to the object scale, robust against variations in the user input, adaptable to new domains, and delivers reliable annotations. An instance segmentation model trained on masks generated by NuClick achieved the first rank in LYON19 challenge. As exemplar outputs of our framework, we are releasing two datasets: 1) a dataset of lymphocyte annotations within IHC images, and 2) a dataset of segmented WBCs in blood smear images.

연구 동기 및 목표

• 히스토파스ولوج리 이미지에서 핵, 세포, 샘의 조밀한 어노테이션에 소요되는 시간과 노력을 줄이기 위해.
• 높은 정확도를 유지하면서 사용자 상호작용을 최소화하는 강력한 상호작용형 분할 방법을 개발하기 위해.
• 다양한 데이터셋과 영상 도메인(예: 겹치거나 비정상적인 형태의 구조물 등 도전적인 케이스 포함)에 일반화할 수 있도록 하기 위해.
• 전체 슬라이드 이미징 워크플로우에 실용적인 어노테이션 툴을 제공하여 후속 완전 지도 학습을 지원하기 위해.

제안 방법

• 프레임워크는 RGB 이미지, 포함 지도(클릭/스위글), 배제 지도(주변 영역)를 다중 채널 입력으로 사용하는 CNN 기반 아키텍처를 사용한다.
• 핵 또는 세포 내부의 단일 클릭은 포함 신호로 사용되며, 자유형 스위글은 복잡한 다세포 구조물(예: 샘)의 분할을 안내하는 데 사용된다.
• 배제 지도는 다른 객체 근처의 예측을 명시적으로 억제하여 겹치거나 군집된 구조물에서의 성능 향상에 기여한다.
• 예측된 분할 마스크에 대해 이진 교차 엔트로피 손실을 사용하여 모델을 엔드 투 엔드로 학습시킨다.
• 사용자 수정을 허용하는 반복적 사용자 보정 기능을 지원하여 지도 신호(클릭/스위글)를 수정해 예측을 정밀하게 다듬을 수 있다.
• 모델은 다양한 객체 크기와 정확도가 떨어지는 사용자 입력에 대해 적응 가능하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 객체당 하나의 사용자 클릭만으로 조직도 이미지에서 핵과 세포의 정밀한 분할을 달성할 수 있는가?
• RQ2 스위글 기반 지도 신호가 복잡하고 비정상적인 형태의 샘을 정확하게 분할하는 데 기여하는가?
• RQ3 불완전한 클릭이나 스위글과 같은 사용자 입력의 변동에 대해 프레임워크는 얼마나 강건한가?
• RQ4 배제 지도가 겹치거나 군집된 객체에서 성능 향상에 실제로 기여하는가?
• RQ5 재학습 없이도 새로운 데이터셋과 영상 도메인으로 일반화할 수 있는가?

주요 결과

• NuClick는 MoNuSeg 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 평균 재현율 지수(AJI)는 0.834, 딱스 점수는 0.912를 기록하였다.
• 배제 지도의 중요성이 확인되었다: 이를 제거할 경우 AJI는 0.834에서 0.815로, 딱스 점수는 0.912에서 0.894로 감소하여 겹치는 구조물 처리에 있어 핵심 요소임을 입증하였다.
• 모델은 맞닿아 있는 핵, 흐릿한 혈액 세포, 구멍이 있거나 비정상적인 형태의 샘과 같은 도전적인 케이스를 성공적으로 분할하였다.
• NuClick는 고등도 악성 종양 조직 및 IHC, 혈액 스며이미지 등 다양한 도메인 설정에서도 신뢰할 수 있는 어노테이션을 생성하였다.
• NuClick로 생성된 마스크를 기반으로 학습한 인스턴스 분할 모델이 LYON19 챌린지에서 1등을 차지하였다.
• 프레임워크는 도메인 특화 미세조정 없이도 여섯 가지 다양한 데이터셋에서 뛰어난 일반화 성능을 보였다.