[논문 리뷰] Medical Image Segmentation Review: The success of U-Net

Reza Azad, Ehsan Khodapanah Aghdam외 8명|arXiv (Cornell University)|2022. 11. 27.

Brain Tumor Detection and Classification인용 수 96

한 줄 요약

이 논문은 의료 영상 분할을 위한 U-Net 및 그 변형을 조사하고 여섯 가지 범주로 분류하는 분류체계를 제안하며, 코드, 사전 학습 모델, 온라인 논문 목록 등 실용적인 자료를 제공합니다.

ABSTRACT

Automatic medical image segmentation is a crucial topic in the medical domain and successively a critical counterpart in the computer-aided diagnosis paradigm. U-Net is the most widespread image segmentation architecture due to its flexibility, optimized modular design, and success in all medical image modalities. Over the years, the U-Net model achieved tremendous attention from academic and industrial researchers. Several extensions of this network have been proposed to address the scale and complexity created by medical tasks. Addressing the deficiency of the naive U-Net model is the foremost step for vendors to utilize the proper U-Net variant model for their business. Having a compendium of different variants in one place makes it easier for builders to identify the relevant research. Also, for ML researchers it will help them understand the challenges of the biological tasks that challenge the model. To address this, we discuss the practical aspects of the U-Net model and suggest a taxonomy to categorize each network variant. Moreover, to measure the performance of these strategies in a clinical application, we propose fair evaluations of some unique and famous designs on well-known datasets. We provide a comprehensive implementation library with trained models for future research. In addition, for ease of future studies, we created an online list of U-Net papers with their possible official implementation. All information is gathered in https://github.com/NITR098/Awesome-U-Net repository.

연구 동기 및 목표

• U-Net 기반의 의료 영상 분할 방법과 그 모달성에 대한 포괄적 개요를 제공합니다.
• 아키텍처 설계 변화에 따라 U-Net 변형을 분류하는 분류체계를 제안합니다.
• 데이터셋, 손실 함수, 평가 지표 및 비교 평가를 포함한 실용적인 지침을 제공합니다.
• 학습된 모델과 구현체를 포함한 구현 라이브러리와 U-Net 논문 및 구현 목록을 온라인으로 제공합니다.

제안 방법

• U-Net 변형에 대한 여섯 가지 범주 분류체계를 도입합니다: Skip Connection Enhancements, Backbone Design Enhancements, Bottleneck Enhancements, Transformers, Rich Representation Enhancements, and Probabilistic Design.
• 2D 및 3D U-Net 아키텍처와 의료 영상 모달리티에 대한 적용 가능성을 자세히 설명합니다.
• Skip connections, feature map processing 및 주의 메커니즘에 초점을 맞춘 다양한 확장에 대해 조사하고 논의합니다.
• 설계 선택을 평가하기 위해 널리 사용되는 데이터 세트에 대한 비교 실험을 제공합니다.
• 구현 및 사전 학습 가중치를 포함한 GitHub 저장소와 U-Net 논문 목록의 온라인 목록을 포함한 실용적인 리소스를 제공합니다.
• 적절한 U-Net 변형을 선택하는 데 있어 공급업체와 연구자 모두를 돕기 위해 논의를 구성합니다.

Figure 1 : The number of research works published in the past decade using the U-Net model as their baseline to address various medical image analysis challenges. The visualization shows sumptuous attention from the research/industry community for this architecture, particularly the segmentation tas

실험 결과

연구 질문

• RQ1 U-Net의 어떤 설계 수정이 모달리티 전반에 걸쳐 의료 영상 분할을 가장 효과적으로 향상시킵니까?
• RQ2 Skip connections, backbones, bottlenecks, transformers, 및 probabilistic designs가 성능과 실용성에 미치는 영향은?
• RQ3 어떤 데이터 세트와 평가 방법이 U-Net 변형의 실제 임상 활용 가치를 가장 잘 반영합니까?
• RQ4 실무에서 U-Net 모델을 배포하는 연구자들을 가장 잘 지원하는 자원(코드, 가중치, 논문)은 무엇입니까?

주요 결과

• 본 논문은 U-Net 변형을 여섯 가지 실용적 범주로 분류하고 각 수정이 분할 문제를 어떻게 겨냥하는지 명확히 합니다.
• 2022년 9월까지 100개가 넘는 U-Net 기반 분할 방법에 대한 문헌을 검토합니다.
• 이 연구는 잘 알려진 데이터 세트에서 설계 간 성능 추세를 보여주기 위한 비교 실험을 포함합니다.
• 학습된 모델과 구현이 포함된 포괄적인 구현 라이브러리와 사용 가능한 구현이 있는 U-Net 논문 온라인 목록을 제공합니다.
• 본 연구는 U-Net 확장의 평가에서 임상 관련성, 데이터 모달리티, 손실 함수, 평가 지표를 강조합니다.

Figure 2 : The proposed U-Net taxonomy categorizes different extensions of the U-Net model based on their underlying design idea. More specifically, our taxonomy takes into account the modular design of the U-Net model and shows where the improvement happens (e.g., skip connection). Due to the clari