[논문 리뷰] Unsupervised Dense Nuclei Detection and Segmentation with Prior Self-activation Map For Histology Images

Pingyi Chen, Chenglu Zhu외 5명|arXiv (Cornell University)|2022. 10. 14.

AI in cancer detection인용 수 4

한 줄 요약

이 논문은 수동 애너테이션 없이 자기 지율적 특징에서 가짜 마스크를 생성하는 Prior Self-activation Module (PSM)를 사용하여 조직도 영상에서 조밀한 세포핵 검출 및 분할을 위한 비지도 딥러닝 프레임워크를 제안한다. 얕은 네트워크 레이어의 기울기 기반 활성화 맵과 의미 지향 생성기(semantic-guided generator)를 활용하여, 두 개의 공개 병리학 데이터셋에서 경쟁적인 성능을 달성하며, 레이블이 없는 환경에서 완전 지도 및 약한 지도 기반 베이스라인을 능가한다.

ABSTRACT

The success of supervised deep learning models in medical image segmentation relies on detailed annotations. However, labor-intensive manual labeling is costly and inefficient, especially in dense object segmentation. To this end, we propose a self-supervised learning based approach with a Prior Self-activation Module (PSM) that generates self-activation maps from the input images to avoid labeling costs and further produce pseudo masks for the downstream task. To be specific, we firstly train a neural network using self-supervised learning and utilize the gradient information in the shallow layers of the network to generate self-activation maps. Afterwards, a semantic-guided generator is then introduced as a pipeline to transform visual representations from PSM to pixel-level semantic pseudo masks for downstream tasks. Furthermore, a two-stage training module, consisting of a nuclei detection network and a nuclei segmentation network, is adopted to achieve the final segmentation. Experimental results show the effectiveness on two public pathological datasets. Compared with other fully-supervised and weakly-supervised methods, our method can achieve competitive performance without any manual annotations.

연구 동기 및 목표

• 조직병리학 영상에서 조밀한 세포핵 분할에 있어 수동 애너테이션의 높은 비용과 비효율성 문제를 해결하기 위해.
• 픽셀 수준 또는 인스턴스 수준의 애너테이션이 필요 없는 자기 지율적 프레임워크를 개발하기 위해.
• 자기 지율적 네트워크의 저수준 특징을 활용하여 후속 분할 작업을 위한 신뢰할 수 있는 가짜 마스크를 생성하기 위해.
• 전체 슬라이드 영상에서 조밀하게 분布된 세포핵의 엔드 투 엔드 비지도 검출 및 분할을 가능하게 하기 위해.

제안 방법

• 자기 지율적 네트워크의 얕은 레이어에서 유도된 기울기 정보를 사용하여 세포 수준의 구조에 집중하는 자기 자극 맵(self-activation maps)을 생성하는 Prior Self-activation Module (PSM)를 제안한다. 이는 애너테이션 없이도 작동한다.
• PSM에서 유도된 특징을 픽셀 수준의 가짜 마스크로 변환하기 위해 의미 지향 생성기(SGG)를 도입한다.
• 이중 단계 훈련 파이프라인을 활용: 인스턴스 로컬라이제이션을 위한 세포핵 검출 네트워크(NDN)와 조밀한 픽셀 수준 분할을 위한 세포핵 분할 네트워크(NSN)를 각각 사용한다.
• 가짜 마스크 생성 이전에 레이블이 없는 데이터를 대상으로 대비 학습(contrastive learning, 예: SimCLR 스타일)을 통한 자기 지율적 사전 훈련을 수행하여 강력한 표현을 학습한다.
• 가짜 마스크를 통한 픽셀 수준 및 객체 수준의 감독을 함께 적용하며, 감독 유형 간 균형을 조절하는 하이퍼파rameter λ를 사용한다.
• 레이블이 없는 상황에서도 실제 지도 학습에서 사용하는 CAM 유사 주의 메커니즘을 얕은 레이어의 활성화를 통해 세포핵 경계의 국소화를 향상시킨다.

실험 결과

연구 질문

• RQ1 자기 지율적 네트워크의 얕은 레이어에서 유도된 자기 자극 맵이 비지도 세포핵 분할에 효과적인 가짜 감독으로 기능할 수 있는가?
• RQ2 애너테이션이 없이도 작은 물체인 세포핵과 같은 조밀한 객체에 대해 의미 있는 활성화 패턴을 생성하는 데에 제안된 Prior Self-activation Module (PSM)의 효과는 어느 정도인가?
• RQ3 실제 레이블이 없는 환경에서 픽셀 수준 및 객체 수준의 가짜 마스크를 함께 훈련시키는 것이 분할 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 프레임워크는 조직도 외의 다른 생물의학 영상 유형, 예를 들어 망막 영상이나 세포학 영상 등으로 일반화 가능한가?

주요 결과

• 제안된 비지도 방법은 수동 애너테이션이 전혀 없는 두 개의 공개 병리학 데이터셋에서 완전 지도 및 약한 지도 기반 방법과 비교해도 경쟁적인 성능을 달성한다.
• 픽셀 수준 및 객체 수준의 가짜 마스크를 함께 사용하는 연합 훈련 메커니즘이 분할 지표 향상에 크게 기여하며, IoU는 객체 수준 감독 없이 0.501에서 λ = 0.5일 때 0.610으로 상승한다.
• 모델 성능은 하이퍼파rameter λ에 대해 강건하며, λ 값이 0.5에서 10 사이일 때 지표 변화가 최소한이므로 가짜 마스크 가중치 조정이 안정적임을 시사한다.
• Prior Self-activation Module (PSM)는 복잡한 상황, 예를 들어 망막 영상에서도 의미 있는 활성화 맵을 생성하며, 망막 중심과 망막 구멍 영역을 명확히 강조한다.
• 이 방법은 흉부 X-ray 및 세포학 영상과 같은 다른 영상 유형으로도 일반화 가능하지만, 다수의 주목할 만한 객체가 존재하는 자연 영상에서는 주의 분배가 모호해져 성능 저하가 발생한다.
• 시각화 결과는 PSM이 세포핵 경계와 세포내 구조를 효과적으로 강조함을 확인하며, 비지도 생물의학 영상 분석의 잠재력을 입증한다.