[論文レビュー] Towards more precise automatic analysis: a comprehensive survey of deep learning-based multi-organ segmentation

Xiaoyu Liu, Linhao Qu+4 more|arXiv (Cornell University)|Mar 1, 2023

COVID-19 diagnosis using AI被引用数 9

ひとこと要約

この論文は、頭頸部、胸部、腹部にわたる深層学習ベースの多臓器セグメンテーションを調査し、完全アノテーションと不完全アノテーションアプローチ、データセット、アーキテクチャ、および2016–2022の動向を比較します。161件の研究を集約し、課題・データセット・今後の方向性を論じます。

ABSTRACT

Accurate segmentation of multiple organs of the head, neck, chest, and abdomen from medical images is an essential step in computer-aided diagnosis, surgical navigation, and radiation therapy. In the past few years, with a data-driven feature extraction approach and end-to-end training, automatic deep learning-based multi-organ segmentation method has far outperformed traditional methods and become a new research topic. This review systematically summarizes the latest research in this field. For the first time, from the perspective of full and imperfect annotation, we comprehensively compile 161 studies on deep learning-based multi-organ segmentation in multiple regions such as the head and neck, chest, and abdomen, containing a total of 214 related references. The method based on full annotation summarizes the existing methods from four aspects: network architecture, network dimension, network dedicated modules, and network loss function. The method based on imperfect annotation summarizes the existing methods from two aspects: weak annotation-based methods and semi annotation-based methods. We also summarize frequently used datasets for multi-organ segmentation and discuss new challenges and new research trends in this field.

研究の動機と目的

• 頭頸部・胸部・腹部の最新の深層学習ベース多臓器セグメンテーション手法を体系的に要約する。
• 完全アノテーション手法と不完全アノテーション（弱い/半監視）手法を区別する。
• 本分野で用いられる共通データセットと評価指標を整理する。
• 性能を推進するネットワークアーキテクチャ、次元、モジュール、損失関数を分析する。
• 多臓器セグメンテーションにおける課題、動向、将来の研究方向性を論じる。

提案手法

• 手法を完全アノテーションと不完全アノテーションのカテゴリーに分類する。
• 完全アノテーションの中で：ネットワークアーキテクチャ、次元、専用モジュール、損失関数を分析する。
• 不完全アノテーションの中で：弱監視および半監視戦略を分析する。
• 評価のために用いられるデータセットと指標（DSC、HD95、MSD）を要約する。
• CNN、GAN、トランスフォーマー、ハイブリッド、カスケード/マルチステージ手法を含むアーキテクチャを調査する。
• 粗化–精細化、局所化＋セグメンテーション、局所化主導のカスケードなどの動向を強調する。
• 地域（頭頸部、胸部、腹部）ごとに手法を比較する組織的フレームワーク（表II–X、補足表）を提供する。

実験結果

リサーチクエスチョン

• RQ1 頭頸部・胸部・腹部を横断する多臓器セグメンテーションで用いられる主要な深層学習アーキテクチャは何か？
• RQ2 完全アノテーション手法と不完全アノテーション手法（弱/半）を性能と実用性の観点でどう比較できるか？
• RQ3 本分野で支配的なデータセットと評価指標は何か、現在のギャップや制限は何か？
• RQ4 小さな臓器と大きな臓器の改善を牽引するアーキテクチャ的テーマ（粗化–精細、局所化セグメンテーションカスケード、CNN/トランスフォーマーのハイブリッド）は何か？
• RQ5 今後の研究を形作る新興の動向と課題は何か？

主な発見

• 深層学習手法は、領域を跨いだ多臓器セグメンテーションにおいて従来手法を大きく上回っている。
• トランスフォーマーおよびハイブリッドCNN-トランスフォーマーアーキテクチャは、グローバルコンテクストと小型臓器の局在化を扱う新しいアプローチの中にある。
• カスケードおよび粗化–精細化戦略は、小さな臓器の処理と背景干渉の低減に有効で広く用いられている。
• 不完全アノテーション戦略（弱監視・半監視）は、データセットの制約とアノテーション不足に対処するために分析されている。
• 頭頸部・胸部・腹部の様々なモダリティとアノテーションを持つデータセットが存在する一方で、DLモデル向けのアノテーション済みデータは依然として限定的である。
• 本調査は、使用されるアーキテクチャ・モジュール・損失関数の構造化された概観を提供し、解剖学的変異、画像品質、一般化可能性などの課題を論じる。