[논문 리뷰] ConvNeXt-backbone HoVerNet for nuclei segmentation and classification

Jiachen Li, Chixin Wang외 2명|arXiv (Cornell University)|2022. 02. 28.

Radiomics and Machine Learning in Medical Imaging인용 수 14

한 줄 요약

이 논문은 핵 분할 및 분류를 위한 ConvNeXt-백본 HoVerNet을 제안하며, 성능 향상을 위해 ResNet 백본을 ConvNeXt-tiny로 교체한다. 생물학적 염색 패턴을 활용하여 히스타미린 채널 기반의 one-hot 레이블 스무딩을 도입하고, 핵 분포 분석을 통해 최적의 학습/검증 폴드를 선별하여 기준 모델 대비 0.04 mPQ+ 및 0.0144 multi-r2 향상을 달성한다.

ABSTRACT

This manuscript gives a brief description of the algorithm used to participate in CoNIC Challenge 2022. After the baseline was made available, we follow the method in it and replace the ResNet baseline with ConvNeXt one. Moreover, we propose to first convert RGB space to Haematoxylin-Eosin-DAB(HED) space, then use Haematoxylin composition of origin image to smooth semantic one hot label. Afterwards, nuclei distribution of train and valid set are explored to select the best fold split for training model for final test phase submission. Results on validation set shows that even with channel of each stage smaller in number, HoVerNet with ConvNeXt-tiny backbone still improves the mPQ+ by 0.04 and multi r2 by 0.0144

연구 동기 및 목표

• 딥 러닝을 활용하여 조직병리학 영상에서 핵 인스턴스 분할 및 분류 성능을 향상시키기 위해.
• HoVerNet의 ResNet-50 백본을 ConvNeXt-tiny로 교체하여 아키텍처 효율성과 성능 향상을 탐색하기 위해.
• 히스타미린-에오신-다이아민블루(HED) 공간 분해를 도입하여 레이블 스무딩을 수행하고, 생물학적 염색 패턴을 활용해 one-hot 레이블을 정교화하기 위해.
• 학습 데이터 분할 최적화를 위해 학습 및 검증 세트 간의 핵 유형 분포 분석을 수행하여 일반화 성능 향상시키기 위해.
• 기존 백본 설계에서의 불필요한 채널 용량을 줄이고자, 효율적인 대체 아키텍처인 ConvNeXt를 활용한 성능 향상 가능성을 탐색하기 위해.

제안 방법

• HoVerNet의 ResNet-50-Ext 백본을 ConvNeXt-tiny로 교체하여 다중 스케일 특징을 보다 효율적으로 추출한다.
• skimage.color.rgb2hed를 사용해 입력 RGB 영상을 HED 색상 공간으로 변환하고, DNA 염색 밀도를 나타내는 히스타미린(H) 성분을 분리한다.
• 1을 0.5 + 0.5 × 정규화된 히스타미린 강도(H_norm)로 대체하여 one-hot 진짜 레이블을 스무딩함으로써, 지도 학습에서의 과신뢰도를 감소시킨다.
• 클래스 불균형 문제를 해결하기 위해 핵 유형 예측 헤드에 포칼 손실과 딱스 손실을 조합한 앙상블 손실을 적용한다.
• 후처리 단계로 핵 픽셀 맵을 0.5 임계값으로 이진화하고, 10 픽셀 이하의 객체를 제거하며, 수평/수직 거리 맵에 대해 워터셰 알고리즘을 적용한다.
• 학습 및 검증 세트 간의 핵 유형 비율 차이를 최소화하기 위해 ∑(Sim_i - 1)²를 최소화하는 방식으로 최적의 검증 폴드를 선별한다. 여기서 Sim_i는 학습 및 검증 세트에서 핵 유형 i의 비율 비율이다.

실험 결과

연구 질문

• RQ1 단계당 채널 수가 적은데도 불구하고, HoVerNet의 ResNet 백본을 ConvNeXt-tiny로 교체함으로써 핵 분할 및 분류 성능 향상이 가능한가?
• RQ2 히스타미린 채널 분해를 활용한 one-hot 레이블 스무딩이 일반화 성능 향상과 모델의 강건성 향상에 기여하는가?
• RQ3 학습 및 검증 세트 간의 핵 유형 분포가 모델 성능에 미치는 영향은 무엇이며, 이를 최적의 데이터 분할 선별에 활용할 수 있는가?
• RQ4 생물학적 염색 패턴(히스타미린)을 기반으로 한 레이블 스무딩이 조직병리학 영상에서 의미적 분할 지도 학습을 향상시키는 데 기여하는가?
• RQ5 기존의 표준 CNN 백본 아키텍처에 과도한 채널 용량이 존재하는가? 이를 효율적인 대체 아키텍처인 ConvNeXt를 통해 활용할 수 있는가?

주요 결과

• ConvNeXt-tiny 백본은 단계당 채널 수가 적은데도 불구하고, ResNet-50-Ext 기준 모델 대비 mPQ+ 0.04 및 multi-r2 0.0144 향상되었다.
• ConvNeXt-tiny 백본을 사용한 모델은 검증 mPQ+ 0.5040 및 multi-r2 0.8729를 달성했으며, ResNet-50-Ext 기준 모델(모델 mPQ+ 0.4998, multi-r2 0.8585)을 능가했다.
• 히스타미린 기반 레이블 스무딩은 염색 강도 패턴을 한정된 one-hot 레이블에 통합함으로써 지도 학습의 정교함을 향상시키고, 모델의 일반화 성능을 향상시켰다.
• 핵 유형 비율의 분포 차이를 최소화한 결과, 최적의 학습/검증 폴드로 fold 06이 선정되었다.
• 결과적으로 기존 백본 아키텍처는 과도한 채널 용량을 지닐 수 있으며, ConvNeXt-tiny는 더 적은 채널로도 ResNet-50-Ext를 능가하는 성능을 달성함을 시사한다.
• 이 방법은 계산적으로 효율적이며, 배치 크기가 4인 두 대의 2080Ti GPU에서 약 12시간 내에 학습이 가능하다.