[논문 리뷰] PseudoEdgeNet: Nuclei Segmentation only with Point Annotations

Inwan Yoo, Donggeun Yoo외 1명|arXiv (Cornell University)|2019. 06. 07.

AI in cancer detection참고 문헌 17인용 수 8

한 줄 요약

이 논문은 점(annotation)만을 사용하여 학습하는 강력한 약한 지도 학습 기반의 세포핵 세분화 방법인 PseudoEdgeNet을 제안한다. 이는 비용이 많이 드는 세그멘테이션 마스크 대신 점(annotation)만을 사용하여 딥 러닝 모델을 훈련시킨다. 경계 학습을 안내하기 위해 퇴적된 가짜 에지 맵을 생성하는 경량 보조 네트워크(PseudoEdgeNet)를 도입함으로써, 두 개의 공개 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 기존의 약한 지도 학습 방법보다 IoU에서 최대 5.34% 향상되었다.

ABSTRACT

Nuclei segmentation is one of the important tasks for whole slide image analysis in digital pathology. With the drastic advance of deep learning, recent deep networks have demonstrated successful performance of the nuclei segmentation task. However, a major bottleneck to achieving good performance is the cost for annotation. A large network requires a large number of segmentation masks, and this annotation task is given to pathologists, not the public. In this paper, we propose a weakly supervised nuclei segmentation method, which requires only point annotations for training. This method can scale to large training set as marking a point of a nucleus is much cheaper than the fine segmentation mask. To this end, we introduce a novel auxiliary network, called PseudoEdgeNet, which guides the segmentation network to recognize nuclei edges even without edge annotations. We evaluate our method with two public datasets, and the results demonstrate that the method consistently outperforms other weakly supervised methods.

연구 동기 및 목표

• 전체 슬라이드 영상에서 세포핵 세분화의 높은 annotation 비용 문제를 해결하기 위해 픽셀 수준의 세그멘테이션 마스크 의존도를 줄이기.
• 점(annotation)의 한계—경계 정보 부족—을 보완하기 위해 학습 중에 에지 정보를 유추할 수 있는 메커니즘 도입.
• 점 지도 학습을 활용하여 경계 정확도가 향상된 세분화 네트워크를 훈련시키는 약한 지도 학습 프레임워크 개발.
• 에지 annotation이 필요 없이도 경량 보조 네트워크(PseudoEdgeNet)가 주 세분화 네트워크를 효과적으로 안내할 수 있음을 입증하기.
• 완전 지도 학습 방법과 경쟁 가능한 성능을 달성하면서도 annotation 노력의 극도로 감소시키기.

제안 방법

• 점 기반 레이블에 기반한 이진 교차 엔트로피 손실을 사용하여 세분화 네트워크를 훈련시키며, 점 annotation 근처의 픽셀은 양성, Voronoi 경계는 거리 변환을 통해 음성으로 처리.
• Sobel 필터와 경량 CNN을 사용하여 가짜 에지 맵을 생성하는 보조 네트워크인 PseudoEdgeNet을 도입하여 진짜 에지 마스크가 없더라도 에지 지도 학습을 제공.
• 세분화 및 에지 예측을 동시에 최적화하는 다중 작업 손실을 사용하여 세분화 네트워크와 PseudoEdgeNet을 함께 훈련시키며, 균형 계수 λ=1.0를 적용.
• FPN와 ResNet-18을 사용하여 PseudoEdgeNet에 주의 모듈(h)을 통합하여 에지 예측을 정교화하고 특징 표현을 향상.
• 일반화 성능 향상을 위해 광범위한 데이터 증강(색상 왜곡, 노이즈, 회전, 탄성 변형)을 적용하고, 조기 정지와 학습률 감소 전략을 사용.
• Adam 최적화기를 사용하여 초기 학습률 0.001로 모델을 최적화하고, 검증 IoU 기반으로 최고의 모델을 선택.

실험 결과

연구 질문

• RQ1 완전한 세그멘테이션 마스크 대신 점(annotation)만을 사용하여 세포핵 세분화 성능을 크게 향상시킬 수 있는가?
• RQ2 에지 annotation이 없이도 경량 보조 네트워크(PseudoEdgeNet)가 가짜 에지 맵을 효과적으로 생성하여 경계 학습을 안내할 수 있는가?
• RQ3 에지 네트워크(g)의 용량과 아키텍처가 세분화 성능에 어떤 영향을 미치는가?
• RQ4 PseudoEdgeNet에 주의 모듈(h)을 통합함으로써 모델이 미세 경계를 더 잘 학습할 수 있는가?
• RQ5 기존의 약한 지도 학습 방법과 비교했을 때, 제안된 방법은 IoU와 데이터셋 간의 강인성 측면에서 어떤가?

주요 결과

• 작은 에지 네트워크(g)와 주의 모듈(h)을 갖춘 PseudoEdgeNet은 MoNuSeg에서 0.6136 IoU, TNBC에서 0.6038 IoU를 달성하여 기준 모델 [9]보다 각각 +4.26%와 +5.34% 향상되었다.
• 주의 모듈(h)을 추가함으로써 성능 향상이 뚜렷하게 나타나, 정교화된 에지 지도 학습이 경계 정확도 향상에 기여함을 시사한다.
• 큰 에지 네트워크(예: FPN-ResNet50)는 더 작은 아키텍처보다 성능이 열 劣하므로, 높은 용량이 유리하지 않으며 오히려 성능 저하를 초래할 수 있음을 보여준다.
• 작은 에지 네트워크의 깊이를 2층에서 8층으로 늘여도 성능에 미치는 영향이 미미하여, 얕은 네트워크만으로도 효과적인 에지 지도 학습이 가능함을 시사한다.
• 완전 지도 학습에 근접한 뛰어난 성능(0.6522 IoU, MoNuSeg)을 달성하여, 점 기반 약한 지도 학습에 가짜 에지 지도를 통합한 것이 매우 효과적임을 입증한다.
• 제거 실험(ablation study)는 에지 네트워크(g)와 주의 모듈(h)이 모두 필수적인 구성 요소임을 확인하였으며, g는 핵심적인 에지 지도 학습을 제공하고 h는 에지 표현을 정교화한다.