[논문 리뷰] NINEPINS: Nuclei Instance Segmentation with Point Annotations

Ting An Yen, Hung Chun Hsu외 4명|arXiv (Cornell University)|2020. 06. 24.

Forensic and Genetic Research참고 문헌 14인용 수 6

한 줄 요약

이 논문은 희박한 점(annotation)으로부터 생성된 가짜 레이블을 사용하여 수정된 HoVer-Net 모델을 훈련하는 반감독형 인스턴스 세분화 프레임워크인 NINEPINS를 제안한다. 이 방법은 베르방 다이어그램과 거리 맵을 활용하여 점에서 강력한 세분화 마스크를 생성하며, 완전한 감독 훈련과 유사한 성능을 달성하고, 세분화 지표에서 최대 10% 감소가 발생하더라도 후속 분류 작업에서 최소한의 성능 저하를 보인다.

ABSTRACT

Deep learning-based methods are gaining traction in digital pathology, with an increasing number of publications and challenges that aim at easing the work of systematically and exhaustively analyzing tissue slides. These methods often achieve very high accuracies, at the cost of requiring large annotated datasets to train. This requirement is especially difficult to fulfill in the medical field, where expert knowledge is essential. In this paper we focus on nuclei segmentation, which generally requires experienced pathologists to annotate the nuclear areas in gigapixel histological images. We propose an algorithm for instance segmentation that uses pseudo-label segmentations generated automatically from point annotations, as a method to reduce the burden for pathologists. With the generated segmentation masks, the proposed method trains a modified version of HoVer-Net model to achieve instance segmentation. Experimental results show that the proposed method is robust to inaccuracies in point annotations and comparison with Hover-Net trained with fully annotated instance masks shows that a degradation in segmentation performance does not always imply a degradation in higher order tasks such as tissue classification.

연구 동기 및 목표

• 완전한 마스크 annotation 대신 점(annotation)만으로도 디지털 병리학에서 annotation 부담을 줄이기 위해 핵 인스턴스 세분화를 가능하게 한다.
• 희박한 점 레이블에서 고품질의 가짜 세분화 마스크를 생성하는 반감독 학습 프레임워크를 개발한다.
• 특히 진짜 핵 중심점에서의 이동 등 점 annotation의 정확도 저하에 대한 방법의 내구성을 평가한다.
• 점 annotation 기반 세분화가 조직 분류와 같은 고차원 작업에 미치는 영향을 평가한다.
• 인스턴스 세분화 성능 저하가 반드시 진단 작업에서의 성능 저하로 이어지지 않음을 입증한다.

제안 방법

• 각 점에 대해 공간적 커버리지를 보장하기 위해 베르방 다이어그램을 사용하여 영역을 할당함으로써 점 annotation에서 가짜 세분화 마스크를 생성한다.
• 각 픽셀에서 핵 경계까지의 최소 거리를 사용하여 베르방 영역에서 거리 맵 레이블을 합성함으로써 HoVer-Net의 거리 맵 브랜치 훈련을 가능하게 한다.
• 실제 인스턴스 마스크와 점 annotation에서 생성된 가짜 레이블 마스크를 조합하여 수정된 HoVer-Net 아키텍처를 훈련한다.
• 점의 오차를 시뮬레이션하고 내구성을 테스트하기 위해 가우시안 노이즈를 적용한다 (식 3 및 식 4).
• 두 개의 디코더 브랜치를 사용한다: 하나는 인스턴스 세분화 마스크를 위한 것이고, 다른 하나는 거리 맵을 위한 것이며, 각각 교차 엔트로피 손실과 L1 손실을 사용하여 훈련한다.
• 성능 평가에는 DICE 및 DQ_point 지표를 사용하고, Camelyon16에서 CGC-Net을 통해 후속 분류 작업을 평가한다.

실험 결과

연구 질문

• RQ1 오직 점 annotation으로부터 생성된 가짜 레이블로 훈련할 경우 인스턴스 세분화 성능을 유지할 수 있는가?
• RQ2 진짜 핵 중심점에서의 이동과 같은 점 annotation의 정확도 저하에 대해 이 방법은 얼마나 내구성이 있는가?
• RQ3 약한 감독으로 인해 세분화 지표(DICE 또는 DQ_point)가 저하될 경우, 조직 분류와 같은 고차원 작업에서도 비례적으로 성능 저하가 발생하는가?
• RQ4 점 annotation을 사용하는 반감독 프레임워크가 마스크 annotation을 사용한 완전한 감독 훈련과 유사한 성능을 달성할 수 있는가?
• RQ5 점 annotation을 사용할 경우 진단 유용성에 손상을 주지 않으면서 annotation 부담을 얼마나 줄일 수 있는가?

주요 결과

• 제안된 방법은 점 annotation 노이즈의 다양한 수준에서도 안정적인 DICE 점수를 유지하며, 진짜 중심점에서 최대 ε = 1까지 이동해도 성능 저하가 최소한이다.
• 인스턴스 수준의 탐지 정확도를 측정하는 DQ_point 지표는 점 annotation이 합리적인 범위(ε ≤ 1) 내에서 흐트러져도 소폭의 감소(±0.03 이내)만을 보인다.
• 세분화 지표(DICE 또는 DQ_point)에서 잠재적인 10% 감소가 발생하더라도, Camelyon16 데이터셋에서 CGC-Net을 사용한 후속 조직 분류 작업은 NINEPINS가 HoVer-Net보다 평균 정확도가 높게(91.60% ± 1.85% 대비 93.51% ± 3.90%) 달성되었다.
• 폴드 1에서 NINEPINS는 분류 정확도에서 HoVer-Net을 초월하여(94.20% 대비 88.15%), 이는 약한 감독이 고차원 작업에서 더 좋은 일반화를 이끌 수 있음을 시사한다.
• 세분화 성능 저하가 반드시 후속 진단 작업에서의 성능 저하로 이어지는 것은 아니며, 이는 임상 파이프라인에서 약한 감독 방법의 타당성을 뒷받침한다.
• 점 annotation에서 가짜 레이블 생성이 강력하고 효과적이며, 상당한 annotation 노력 감소에도 불구하고 고품질의 인스턴스 세분화를 가능하게 한다.