[논문 리뷰] Multi-scale Cell Instance Segmentation with Keypoint Graph based Bounding Boxes

Jingru Yi, Pengxiang Wu외 5명|arXiv (Cornell University)|2019. 07. 22.

Advanced Image and Video Retrieval Techniques참고 문헌 12인용 수 9

한 줄 요약

이 논문은 다중 척도 키포인트 그래프 기반 방법을 제안하여 세포 인스턴스 세분화를 수행한다. 이 방법은 세포의 다섯 가지 기하학적 점(모서리와 중심)을 검출하여 강력한 바운딩 박스를 생성함으로써, 혼잡하거나 붙어 있는 세포 상황에서도 정확한 세분화를 가능하게 한다. 이 방법은 Mask R-CNN 및 DCAN과 같은 최신 기법들을 능가하며, 신경 세포에서 79.30%의 AP@0.5와 세포핵에서 80.14%의 AP@0.5를 달성한다.

ABSTRACT

Most existing methods handle cell instance segmentation problems directly without relying on additional detection boxes. These methods generally fails to separate touching cells due to the lack of global understanding of the objects. In contrast, box-based instance segmentation solves this problem by combining object detection with segmentation. However, existing methods typically utilize anchor box-based detectors, which would lead to inferior instance segmentation performance due to the class imbalance issue. In this paper, we propose a new box-based cell instance segmentation method. In particular, we first detect the five pre-defined points of a cell via keypoints detection. Then we group these points according to a keypoint graph and subsequently extract the bounding box for each cell. Finally, cell segmentation is performed on feature maps within the bounding boxes. We validate our method on two cell datasets with distinct object shapes, and empirically demonstrate the superiority of our method compared to other instance segmentation techniques. Code is available at: https://github.com/yijingru/KG_Instance_Segmentation.

연구 동기 및 목표

• 박스 없는 방법이 전역적 맥락의 부족으로 인해 붙어 있거나 겹치는 세포를 분리하는 데 실패하는 문제를 해결하기 위해.
• 특히 작은 또는 비정형으로 생긴 세포에서의 클래스 불균형과 일반화 능력 부족 등의 문제로 인해 앵커 박스 기반 검출기의 한계를 극복하기 위해.
• 키포인트 검출과 그래프 기반 그룹화를 통해 기하학적 사전 지식을 활용하여 세포 인스턴스 세분화의 바운딩 박스 제안 품질을 향상시키기 위해.
• 다중 척도 특징 맵과 인스턴스별 ROI 기반 정밀 조정을 조합하여 세분화 정확도를 향상시키기 위해.

제안 방법

• 다중 척도 특징 맵에 기반한 키포인트 검출 헤드를 사용하여 각 세포의 다섯 가지 정의된 기하학적 점(좌상단, 우상단, 좌하단, 우하단, 중심)을 검출한다.
• 핫스팟 맵, 단일 오프셋 맵, 그룹 오프셋 맵 예측을 통해 키포인트의 국소화 및 다양한 척도 간 공간적 관계를 추정한다.
• 대각선 또는 삼점 조합의 기하학적 일관성을 활용하여 키포인트 그래프를 적용하여 검출된 점들을 유효한 바운딩 박스 제안으로 그룹화한다.
• 그룹화된 키포인트에서 바운딩 박스를 생성하고, 이 박스 내부의 특징 맵을 자르기 위한 인스턴스별 세분화를 수행한다.
• 다양한 크기의 세포 검출을 향상시키기 위해 ResNet-50 백본을 사용하고, 척도 s1부터 s4까지의 다중 척도 특징 추출을 수행한다.
• 최종적으로 인스턴스별 세분화를 위해 자르기 전용 ROI 패치를 사용하는 전용 세분화 브랜치를 적용하여 전역 특징 맵 기반 세분화보다 국소화 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 기하학적 사전 지식을 갖춘 키포인트 기반 검출기가 앵커 기반 방법에 비해 세포 인스턴스 세분화의 바운딩 박스 제안 품질을 향상시킬 수 있는가?
• RQ2 다중 척도 키포인트 검출은 다양한 크기의 세포, 특히 큰 세포나 길쭉한 세포의 검출을 향상시킬 수 있는가?
• RQ3 검출된 키포인트를 그래프 기반으로 그룹화하면 부분적 또는 누락된 키포인트 검출에 대해 더 강건한가?
• RQ4 제안된 방법은 붙어 있거나 겹치는 세포를 분리하는 데 있어 최신의 박스 없는 및 박스 기반 인스턴스 세분화 방법과 비교해 어떤가?

주요 결과

• 다중 척도 검출을 사용한 제안된 방법은 신경 세포 데이터셋에서 79.30%의 AP@0.5와 55.18%의 AP@0.7를 달성하여 DCAN(13.85% AP@0.5)과 CosineEmbedding(27.45% AP@0.5)을 크게 능가한다.
• DSB2018 세포핵 데이터셋에서 이 방법은 80.14%의 AP@0.5와 67.60%의 AP@0.7를 기록하여 Mask R-CNN(69.93% AP@0.5)과 CornerNet(47.99% AP@0.5)을 초월한다.
• 다중 척도 검출은 신경 세포에서 성능을 향상시키며, 얕은 층에서는 작은 수용장( receptive field )으로 큰 세포가 잘 검출되지 않지만 깊은 척도에서는 잘 포착됨을 확인한다.
• 개별 세포 세분화 브랜치는 얕은 특징 맵 s1 기반 세분화보다 성능이 뛰어나며, ROI 전용 맥락을 활용함으로써 과세분화와 잘못된 양성 결과를 감소시킨다.
• 시각화 결과는 큰 세포가 s1 척도에서는 자주 빠지지만 s4 척도에서는 검출됨을 보여주며, 다중 척도 특징 추출의 이점을 확인한다.
• 키포인트 그래프 기반 그룹화로 인해 강건성이 향상된다: 한두 개의 키포인트가 누락되어도 나머지 점들이 여전히 유효한 바운딩 박스 제안을 생성할 수 있다.