[論文レビュー] Medical Image Segmentation Review: The success of U-Net

Reza Azad, Ehsan Khodapanah Aghdam+8 more|arXiv (Cornell University)|Nov 27, 2022

Brain Tumor Detection and Classification被引用数 96

ひとこと要約

本論文は医用画像分割における U-Net およびその派生形を調査し、六カテゴリーの分類法を提案し、コード、事前学習済みモデル、オンライン論文リストを含む実用的リソースを提供する。

ABSTRACT

Automatic medical image segmentation is a crucial topic in the medical domain and successively a critical counterpart in the computer-aided diagnosis paradigm. U-Net is the most widespread image segmentation architecture due to its flexibility, optimized modular design, and success in all medical image modalities. Over the years, the U-Net model achieved tremendous attention from academic and industrial researchers. Several extensions of this network have been proposed to address the scale and complexity created by medical tasks. Addressing the deficiency of the naive U-Net model is the foremost step for vendors to utilize the proper U-Net variant model for their business. Having a compendium of different variants in one place makes it easier for builders to identify the relevant research. Also, for ML researchers it will help them understand the challenges of the biological tasks that challenge the model. To address this, we discuss the practical aspects of the U-Net model and suggest a taxonomy to categorize each network variant. Moreover, to measure the performance of these strategies in a clinical application, we propose fair evaluations of some unique and famous designs on well-known datasets. We provide a comprehensive implementation library with trained models for future research. In addition, for ease of future studies, we created an online list of U-Net papers with their possible official implementation. All information is gathered in https://github.com/NITR098/Awesome-U-Net repository.

研究の動機と目的

• U-Net ベースの医用画像分割手法とそのモダリティについて網羅的な概要を提供する。
• アーキテクチャ設計の変化に基づいて U-Net の派生形を分類する分類法を提案する。
• データセット、損失関数、評価指標、比較評価など実践的なガイダンスを提供する。
• 学習済みモデルを含む実装ライブラリと、U-Net 論文と実装のオンラインリストを提示する。

提案手法

• U-Net 派生形の六カテゴリー分類法を導入: Skip Connection Enhancements, Backbone Design Enhancements, Bottleneck Enhancements, Transformers, Rich Representation Enhancements, and Probabilistic Design.
• 2D および 3D U-Net アーキテクチャと医用画像モダリティへの適用性を詳述する。
• スキップ接続、特徴マップ処理、注意機構に焦点を当てた多数の拡張を調査・検討する。
• 人気データセットを用いた比較実験を提供し、設計選択を評価する。
• 実装と事前学習済みウェイトを含む GitHub リポジトリ、および U-Net 論文のオンラインリストといった実用的リソースを提供する。
• ベンダーと研究者の両方が適切な U-Net 派生形を選択するのを支援するよう、議論を整理する。

Figure 1 : The number of research works published in the past decade using the U-Net model as their baseline to address various medical image analysis challenges. The visualization shows sumptuous attention from the research/industry community for this architecture, particularly the segmentation tas

実験結果

リサーチクエスチョン

• RQ1 U-Net のどの設計変更がモダリティを超えて医用画像分割を最も効果的に改善するか。
• RQ2 スキップ接続、バックボーン、ボトルネック、トランスフォーマー、確率的設計が性能と実用性にどのように影響するか。
• RQ3 U-Net 派生形の現実的臨床有用性を最もよく反映するデータセットと評価実践は何か。
• RQ4 実務で U-Net モデルを展開する研究者を最も支援するリソース（コード、重み、論文）は何か。

主な発見

• 本論文は U-Net 派生形を六つの実用的なカテゴリに分類し、それぞれの変更がどのように分割課題を狙うかを明確にする。
• 2022年9月時点で100件を超える U-Net ベースの分割手法に関する文献を概観する。
• 著名なデータセットでの比較実験を含み、設計間の性能傾向を示す。
• 学習済みモデルを含む包括的な実装ライブラリと、実装が利用可能な U-Net 論文のオンラインリストを提供する。
• 本研究は U-Net 拡張の評価において臨床的関連性、データモダリティ、損失関数、評価指標を強調する。

Figure 2 : The proposed U-Net taxonomy categorizes different extensions of the U-Net model based on their underlying design idea. More specifically, our taxonomy takes into account the modular design of the U-Net model and shows where the improvement happens (e.g., skip connection). Due to the clari