[論文レビュー] Deep Learning in Medical Ultrasound Image Segmentation: a Review

Ziyang Wang|arXiv (Cornell University)|Feb 18, 2020

Radiomics and Machine Learning in Medical Imaging参考文献 36被引用数 18

ひとこと要約

このレビューでは、深層学習を用いた医療超音波画像セグメンテーション手法を6つのグループに体系的に分類している—FCN、エンコーダ・デコーダ、RNN、GAN、弱教師あり学習、深層強化学習—それぞれの代表的モデル、評価プロトコル、データセット、パフォーマンスについて詳細に分析している。2D FCNとU-Netアーキテクチャの優位性が強調され、データアノテーションの課題とモデル効率性の問題が指摘され、今後の研究分野として3Dセグメンテーション、軽量モデル、マルチモーダル学習が示唆されている。

ABSTRACT

Applying machine learning technologies, especially deep learning, into medical image segmentation is being widely studied because of its state-of-the-art performance and results. It can be a key step to provide a reliable basis for clinical diagnosis, such as 3D reconstruction of human tissues, image-guided interventions, image analyzing and visualization. In this review article, deep-learning-based methods for ultrasound image segmentation are categorized into six main groups according to their architectures and training at first. Secondly, for each group, several current representative algorithms are selected, introduced, analyzed and summarized in detail. In addition, common evaluation methods for image segmentation and ultrasound image segmentation datasets are summarized. Further, the performance of the current methods and their evaluations are reviewed. In the end, the challenges and potential research directions for medical ultrasound image segmentation are discussed.

研究の動機と目的

• 医療超音波画像セグメンテーションに特化した深層学習技術について、包括的かつ最新のレビューを提供すること。
• アーキテクチャと学習戦略に基づき、既存の深層学習手法を6つの明確なグループに分類すること。
• 異なる手法における一般的な評価指標、公開データセット、報告されたパフォーマンスを要約すること。
• データアノテーション、モデル効率性、超音波画像における画像の異質性といった、現在の深層学習モデルの主な課題を特定すること。
• 3Dセグメンテーション、軽量モデル、マルチモーダル転移学習を含む、今後の研究分野を整理すること。

提案手法

• 深層学習ベースの超音波画像セグメンテーション手法を6つのグループに分類：完全畳み込みネットワーク（FCN）、エンコーダ・デコーダネットワーク、再帰的ニューラルネットワーク（RNN）、生成的対抗ネットワーク（GAN）、弱教師あり学習（WSL）、深層強化学習（DRL）。
• 各カテゴリの代表的モデルをレビュー：FCNではCFS-FCN、DF-FCN、DSN-OBを、エンコーダ・デコーダではU-Netおよびその変種を、特定のタスク向けに特化したモデル（例：FickleNet、DRLベースの手法）を含む。
• スキップ接続、アテンションメカニズム、マルチスケール特徴抽出統合、方向融合特徴マップによる3Dコンテキスト統合といったアーキテクチャの革新を分析。
• Dice類似係数（DSC）、交差率（IOU）、ジャッカードインデックス、正答率といった標準的指標を用いてモデルを評価。PASCAL VOC 2012、シェンチョン、自動心臓診断チャレンジといった公開データセットで結果を報告。
• 多段階段階的学習、教師なしドメイン適応、DRLにおけるセルフプレイ戦略といった訓練戦略を検討し、汎化性能の向上を図る。
• 2D事前学習モデルを活用して、断層再構成と3D特徴統合により3D超音波画像セグメンテーションを向上させる手法をレビュー。

実験結果

リサーチクエスチョン

• RQ1 FCN、U-Net、GAN、RNNといった異なる深層学習アーキテクチャは、さまざまな解剖的構造における医療超音波画像セグメンテーションにおいて、どのように性能を発揮するか？
• RQ2 超音波画像セグメンテーションモデルの妥当性を検証するために用いられる、最も効果的な評価指標とベンチマークデータセットは何か？
• RQ3 データアノテーションコストとモデル効率性の観点から、現在の深層学習モデルにおける主な制限要因は何か？
• RQ4 弱教師あり学習や自己教師あり学習アプローチは、超音波画像における高価なピクセル単位のアノテーションに依存するのをどのように軽減できるか？
• RQ5 3Dセグメンテーション、軽量モデル、マルチモーダル学習といった今後の研究分野の中で、臨床応用を進める上で最も有望な分野は何か？

主な発見

• 超音波画像セグメンテーションの深層学習モデルの約80％が2D完全畳み込みネットワークまたはエンコーダ・デコーダアーキテクチャに依存しており、3Dデータの存在にもかかわらず2Dアプローチの強い依存が示されている。
• DSN-OBモデルは、粗い解像度と細かい解像度の監視を統合し、境界の曖昧さを低減するための統合層を組み合わせることで、血管および病変のセグメンテーションで有望な結果を達成した。
• 方向融合FCN（DF-FCN）モデルは、3方向の特徴マップを統合することで3Dコンテキストモデリングを向上させ、カテーテル検出タスクにおけるセグメンテーション精度を向上させた。
• ボクシングボックスや線分アノテーションを用いた弱教師あり学習手法は中程度の性能を示し、MCデータセットではIOUが21.61–24.61、脊髄灰色体マター・チャレンジではDSCが84.72を記録した。
• 深層強化学習手法は前立腺セグメンテーションにおいて優れた性能を示し、60枚の画像からなる小規模データセットで面積被り率が0.9096に達した。
• ベンチマークデータセットでは高いパフォーマンスを示すものの、臓器の深さ、組織の性質、技術者の差による画像の異質性の影響により、モデルの一般化能力に欠けることがしばしば見られる。