[논문 리뷰] NuClick: From Clicks in the Nuclei to Nuclear Boundaries

Mostafa Jahanifar, Navid Alemi Koohbabnani외 1명|arXiv (Cornell University)|2019. 09. 07.

Advanced Neural Network Applications참고 문헌 12인용 수 7

한 줄 요약

NuClick는 단일 클릭당 하나의 세포핵을 사용하여 정밀한 세포핵 분할을 가능하게 하는 딥러닝 프레임워크입니다. 포함 및 배제 맵을 지도 신호로 생성함으로써, 최신 기술 수준의 모델을 훈련시킬 수 있을 정도로 높은 품질의 분할 마스크를 달성합니다. LYON19 챌린지에서 NuClick가 생성한 레이블을 사용하여 1등을 기록함으로써 이를 입증하였습니다.

ABSTRACT

Best performing nuclear segmentation methods are based on deep learning algorithms that require a large amount of annotated data. However, collecting annotations for nuclear segmentation is a very labor-intensive and time-consuming task. Thereby, providing a tool that can facilitate and speed up this procedure is very demanding. Here we propose a simple yet efficient framework based on convolutional neural networks, named NuClick, which can precisely segment nuclei boundaries by accepting a single point position (or click) inside each nucleus. Based on the clicked positions, inclusion and exclusion maps are generated which comprise 2D Gaussian distributions centered on those positions. These maps serve as guiding signals for the network as they are concatenated to the input image. The inclusion map focuses on the desired nucleus while the exclusion map indicates neighboring nuclei and improve the results of segmentation in scenes with nuclei clutter. The NuClick not only facilitates collecting more annotation from unseen data but also leads to superior segmentation output for deep models. It is also worth mentioning that an instance segmentation model trained on NuClick generated labels was able to rank first in LYON19 challenge.

연구 동기 및 목표

• 히스토로지 이미지에서 수작업 세포핵 주석 처리의 노동 집약적인 부담을 줄이기 위해.
• 최소한의 사용자 입력으로도 상호작용적이고 효율적인 세포핵 분할 주석 수집 방법을 개발하기 위해.
• 단일 포인트 클릭에서 유고된 고품질의 훈련 레이블을 생성하여 딥러닝 모델 훈련에 적합하게 하기 위해.
• NuClick가 생성한 주석이 실제 딥러닝 응용 프로그램에서의 실용성을 검증하기 위해.

제안 방법

• 특징 학습을 향상시키기 위해 잔차 및 다중 스케일 컨볼루션 블록을 갖춘 U-Net 기반의 인코더-디코더 아키텍처를 사용합니다.
• 두 가지 지도 채널을 생성합니다: 클릭된 세포핵 중심에 2차원 가우시안이 놓인 포함 맵과 인접한 세포핵을 강조하는 배제 맵.
• 이 맵들은 입력 RGB 이미지와 결합되어 훈련 및 추론 중 네트워크 가이드에 사용됩니다.
• 클래스 불균형 문제를 해결하고 분할 정확도를 향상시키기 위해 소프트 Dice와 가중치가 부여된 이진 교차 엔트로피를 조합한 가중치가 부여된 하이브리드 손실 함수를 사용합니다.
• 추론 과정에서 모델은 이미지와 사용자 클릭 위치를 입력으로 받아 개별 분할 마스크를 예측합니다.
• 프레임워크는 주석이 달린 데이터셋으로 훈련되고, 다양한 히스토로지 데이터에 대한 일반화를 위해 미세조정됩니다.

실험 결과

연구 질문

• RQ1 세포핵당 단일 사용자 클릭으로 분석 시간을 크게 줄일 수 있을까? 동시에 높은 분할 정확도를 유지할 수 있을까?
• RQ2 단일 클릭에서 유도된 포함 및 배제 맵이 딥러닝 기반 세포핵 분할에 효과적인 지도 신호가 될 수 있을까?
• RQ3 NuClick가 생성한 주석이 진정한 레이블을 사용한 모델과 비교해도 성능이 유사한 딥러닝 모델을 훈련시킬 수 있을까?
• RQ4 진정한 레이블이 없는 실제 도전 과제에서 NuClick가 생성한 레이블이 효과적으로 사용될 수 있을까?

주요 결과

• CPM 데이터셋에서 NuClick는 딱도 스코어 0.8535와 PQ 0.5878을 기록하여 기존 방법들을 능가했습니다.
• Kumar 데이터셋에서 NuClick는 딱도 스코어 0.8243과 PQ 0.5047을 기록하여 강력한 일반화 능력을 입증했습니다.
• NuClick가 생성한 레이블로 훈련된 모델은 진정한 레이블로 훈련된 모델과 거의 동일한 딱도 및 PQ 스코어를 기록했으며, 각각 0.01과 0.003의 차이만 있었습니다.
• NuClick가 생성한 데이터셋 덕분에 모델은 LYON19 챌린지에서 F1-스코어 0.7951로 1등을 기록했으며, 이는 합성 주석의 정밀도를 확인하는 데에 기여했습니다.
• NuClick가 생성한 레이블의 품질은 인간 주석의 진정한 레이블보다 더 균일한 편이었으며, 이는 이면자 간 변동성을 감소시켰습니다.