[논문 리뷰] HarDNet-DFUS: An Enhanced Harmonically-Connected Network for Diabetic Foot Ulcer Image Segmentation and Colonoscopy Polyp Segmentation

Ting‐Yu Liao, Ching‐Hui Yang외 4명|arXiv (Cornell University)|2022. 09. 15.

Diabetic Foot Ulcer Assessment and Management인용 수 14

한 줄 요약

HarDNet-DFUS는 HarDNet-MSEG 기반 모델을 개선하여 당뇨성 발부상처 및 대장내시경 폴립 분할에 최신 기술을 적용한 신규 의료 영상 분할 네트워크이다. 이는 채널 균형을 고려한 HarDBlockV2 모듈을 도입하고, Lawin Transformer에서 유래한 대규모 창자기반 디코더로 기존 디코더를 대체함으로써, MICCAI 2022 DFU 챌린지에서 1등을 차지하고, 당뇨성 발부상처 분할 분야에서 최고 성능을 기록하였다. 이 모델은 MICCAI 2022 DFU 챌린지에서 평균 Dice 스코어 0.7287을 기록하였으며, 원본 모델 대비 Kvasir 데이터셋에서 성능을 1.2% 향상시켰다.

ABSTRACT

We present a neural network architecture for medical image segmentation of diabetic foot ulcers and colonoscopy polyps. Diabetic foot ulcers are caused by neuropathic and vascular complications of diabetes mellitus. In order to provide a proper diagnosis and treatment, wound care professionals need to extract accurate morphological features from the foot wounds. Using computer-aided systems is a promising approach to extract related morphological features and segment the lesions. We propose a convolution neural network called HarDNet-DFUS by enhancing the backbone and replacing the decoder of HarDNet-MSEG, which was SOTA for colonoscopy polyp segmentation in 2021. For the MICCAI 2022 Diabetic Foot Ulcer Segmentation Challenge (DFUC2022), we train HarDNet-DFUS using the DFUC2022 dataset and increase its robustness by means of five-fold cross validation, Test Time Augmentation, etc. In the validation phase of DFUC2022, HarDNet-DFUS achieved 0.7063 mean dice and was ranked third among all participants. In the final testing phase of DFUC2022, it achieved 0.7287 mean dice and was the first place winner. HarDNet-DFUS also deliver excellent performance for the colonoscopy polyp segmentation task. It achieves 0.924 mean Dice on the famous Kvasir dataset, an improvement of 1.2\% over the original HarDNet-MSEG. The codes are available on https://github.com/kytimmylai/DFUC2022 (for Diabetic Foot Ulcers Segmentation) and https://github.com/YuWenLo/HarDNet-DFUS (for Colonoscopy Polyp Segmentation).

연구 동기 및 목표

• 임상 현장에서 수동 평가가 시간이 오래 걸리고 일관성이 없기 때문에, 당뇨성 발부상처(DFU) 분할의 정확도를 향상시키기 위함.
• 이전에 최고 성능을 기록했던 HarDNet-MSEG 모델(원래 실시간 폴립 분할을 위해 설계됨)을 비실시간, 정밀도 중심의 DFU 분할에 적합한 고정확도 아키텍처로 개선하기 위함.
• 새로운 기반 모델과 고급 디코더를 포함한 아키텍처 개선 사항의 효과를 당뇨성 발부상처 및 폴립 분할 작업 전반에 대해 평가하기 위함.
• 앙상블 기법, 데이터 증강, 다중 척도 감독을 통해 강건한 성능 확보를 목표로 함.

제안 방법

• HarDNet-MSEG 기반 모델의 기존 HarDBlock 모듈을 채널 분할과 요소 기반 잔차 연결을 적용한 HarDBlockV2로 교체하여 특징 학습 능력 향상 및 메모리 액세스 감소를 도모함.
• 향상된 기반 모델의 전이 레이어에 SE 주목사용 모듈을 통합하여 다중 척도 특징의 활용도를 향상시킴.
• HarDNet-MSEG의 RFB 기반 디코더를 Lawin Transformer에서 유래한 대규모 창자기반 디코더로 교체하여 다중 척도 특징 표현 능력 향상과 함께 분할 정확도 향상을 달성함.
• 일반화 능력 향상과 추론의 강건성을 높이기 위해 5겹 교차 검증, 심층 감독, 경계 감독, 테스트 시간 증강(TTA)을 적용함.
• 최종 예측 압축에 Sigmoid 및 Tanh 함수를 사용하였으며, 경험적 결과에 따르면 성능 향상 측면에서 Tanh가 더 유리함을 확인함.
• 다양한 모델 변종(HarDNet-DFUS, Deep1, Deep2, Boundary)을 앙상블 추론에 통합하여 Dice 스코어 최대화를 도모함.

실험 결과

연구 질문

• RQ1 CSPNet 및 ShuffleNetV2에서 영감을 얻은 채널 균형 기반 기반 모델 개선이 당뇨성 발부상처와 같이 크기가 작고 비정형인 병변의 분할 정확도 향상에 기여할 수 있는가?
• RQ2 RFB 기반 디코더를 트랜스포머 기반의 대규모 창자기반 디코더로 교체함으로써 의료 영상 분할 작업의 성능 향상이 뚜렷하게 이루어지는가?
• RQ3 앙상블 전략(교차 검증, 다중 척도 감독, 테스트 시간 증강 포함)이 DFU 분할에서 일반화 능력과 Dice 스코어 향상에 얼마나 기여하는가?
• RQ4 향상된 모델은 원본 HarDNet-MSEG 대비 폴립 분할 성능에서 정확도와 추론 속도 측면에서 어떻게 성능을 내는가?

주요 결과

• MICCAI 2022 DFU 챌린지의 검증 단계에서 HarDNet-DFUS는 평균 Dice 스코어 0.7063을 기록하여 총 21개 팀 중 3위를 차지함.
• MICCAI 2022 DFU 챌린지의 최종 테스트 단계에서 HarDNet-DFUS는 평균 Dice 스코어 0.7287을 기록하여 1등을 확보함.
• 원본 HarDNet-MSEG 대비 Kvasir 데이터셋에서 평균 Dice 스코어를 1.2% 향상시켜(0.912에서 0.918로), 폴립 분할 분야에서 뛰어난 성능을 입증함.
• 예측 압축에 Tanh를 사용할 경우 Sigmoid보다 성능이 뛰어나며, 경계 감독과 조합했을 때 검증 단계에서 0.7001의 Dice 스코어 기록.
• 수직 플립을 적용한 테스트 시간 증강(TTA)이 성능 향상에 기여하여, 검증 단계에서는 0.7063, 최종 테스트 단계에서는 0.7287의 Dice 스코어 기록함으로써 강건한 추론에 효과적임을 입증함.
• 더 복잡한 디코더를 사용했음에도 불구하고, 폴립 분할 작업에서는 실시간 추론 속도(30 FPS)를 유지함으로써 정확도와 효율성의 균형을 잘 확보함.