[논문 리뷰] Understanding the Tricks of Deep Learning in Medical Image Segmentation: Challenges and Future Directions

Dong Zhang, Yi Lin외 5명|arXiv (Cornell University)|2022. 09. 21.

Radiomics and Machine Learning in Medical Imaging인용 수 20

한 줄 요약

본 연구는 여섯 가지 구현 단계에 걸친 자주 간과되는 MedISeg "트릭"의 폭넓은 범위를 조사하고, 일관된 기준으로 효과를 경험적으로 평가하며, 오픈 소스 플러그 앤 플레이 MedISeg 저장소를 공개합니다.

ABSTRACT

Over the past few years, the rapid development of deep learning technologies for computer vision has significantly improved the performance of medical image segmentation (MedISeg). However, the diverse implementation strategies of various models have led to an extremely complex MedISeg system, resulting in a potential problem of unfair result comparisons. In this paper, we collect a series of MedISeg tricks for different model implementation phases (i.e., pre-training model, data pre-processing, data augmentation, model implementation, model inference, and result post-processing), and experimentally explore the effectiveness of these tricks on consistent baselines. With the extensive experimental results on both the representative 2D and 3D medical image datasets, we explicitly clarify the effect of these tricks. Moreover, based on the surveyed tricks, we also open-sourced a strong MedISeg repository, where each component has the advantage of plug-and-play. We believe that this milestone work not only completes a comprehensive and complementary survey of the state-of-the-art MedISeg approaches, but also offers a practical guide for addressing the future medical image processing challenges including but not limited to small dataset, class imbalance learning, multi-modality learning, and domain adaptation. The code and training weights have been released at: https://github.com/hust-linyi/seg_trick.

연구 동기 및 목표

• 메디세그에서 여섯 가지 구현 단계(사전 학습, 데이터 전처리, 데이터 증강, 모델 구현, 모델 추론, 결과 후처리)에서 사용된 트릭을 식별하고 분류한다.
• 일관된 2D/3D 기준선(2D-UNet, 3D-UNet)과 대표 데이터 세트에 대해 이 트릭들의 효과를 정량적으로 평가한다.
• 향후 MedISeg 연구를 위한 공정한 비교와 플러그앤플레이 사용을 가능하게 하는 실용적 지침과 오픈 소스 저장소를 제공한다.

제안 방법

• 여섯 가지 구현 단계에 걸친 광범위한 트릭을 조사한다.
• 네 가지 의학 데이터 세트(2D ISIC 2018, 2D CoNIC, 3D KiTS19, 3D LiTS)를 사용하여 두 가지 표준 기준선(2D-UNet, 3D-UNet)에서 트릭을 실험적으로 평가한다.
• 재현 가능한 설정으로 결과를 분석하고 Recall, Precision, Dice, IoU 지표에서 성능을 보고한다.
• 플러그 앤 플레이 구성요소가 포함된 MedISeg 저장소를 오픈 소스로 공개한다.

실험 결과

연구 질문

• RQ1 여섯 가지 MedISeg 구현 단계에서 일반적으로 사용되는 트릭들이 표준 기준선에 미치는 정량적 영향은 무엇인가?
• RQ2 2D 및 3D 의학 영상 분할 과제에서 가장 신뢰할 수 있는 이득을 주는 트릭은 무엇인가?
• RQ3 다른 사전 학습 방식(감독학습 vs 자기지도 학습)이 의학 데이터 세트의 하류 분할 성능에 어떤 영향을 미치는가?
• RQ4 데이터 전처리, 증강 및 정규화 전략이 데이터 세트 의존적 영향을 미치는가?
• RQ5 구성된 트릭들이 보다 공정한 모델 비교를 촉진하고 향후 의학 영상 처리 과제를 안내할 수 있는가?

주요 결과

• 사전 학습: ImageNet-21k 사전 학습 가중치는 2D 분할에 대해 평균 이득이 가장 크며 Dice 및 IoU 향상이 주목되지만 데이터 세트에 따라 이득이 달라진다.
• 자기지도 학습 가중치(SimCLR, MoCo, ModelGe)는 작업과 데이터 세트에 따라 혼합된 향상을 제공할 수 있다; ModelGe는 3D 작업에 가능성을 보이지만 일부 설정에 해를 끼칠 수 있다.
• 데이터 전처리: 패치 크기, 오버샘플링, 강도 정규화는 3D 분할에 상당한 영향을 미친다; 잘못된 선택(예: 작은 패치)은 성능을 심하게 저하시킬 수 있다.
• 데이터 증강: GTAug와 GANAug의 결합은 일부 데이터 세트에서 겸손하지만 일관된 이득을 제공하며, 효과는 작업과 데이터 세트에 따라 다르게 나타난다.
• 추론 및 후처리 트릭은 결과에 실질적인 영향을 줄 수 있는 남은 구성 요소 중 하나이며, 공정한 비교를 위해서는 일관된 구현 세부 정보가 필요하다.
• 오픈 소스 MedISeg 저장소는 트릭의 플러그앤플레이 통합을 가능하게 하여 더 공정하고 재현 가능한 MedISeg 연구를 촉진한다.