[論文レビュー] UNet#: A UNet-like Redesigning Skip Connections for Medical Image Segmentation

Ledan Qian, Xiaofang Zhou+2 more|arXiv (Cornell University)|May 24, 2022

Radiomics and Machine Learning in Medical Imaging被引用数 9

ひとこと要約

本稿では、特徴量のマルチスケールな統合を向上させるために、密な接続とフルスケールのスキップ接続を組み合わせた新しいUNet#アーキテクチャを提案する。このアーキテクチャにより、臓器および病変の境界のセグメンテーション性能が向上する。また、モデルの削減のためのディープスーパービジョンと、誤検出を低減する分類ガイドドモジュールを統合することで、CT、MRI、EMデータセットにおいて複数の2Dおよび3D医療画像セグメンテーションベンチマークで最先端の性能を達成している。

ABSTRACT

As an essential prerequisite for developing a medical intelligent assistant system, medical image segmentation has received extensive research and concentration from the neural network community. A series of UNet-like networks with encoder-decoder architecture has achieved extraordinary success, in which UNet2+ and UNet3+ redesign skip connections, respectively proposing dense skip connection and full-scale skip connection and dramatically improving compared with UNet in medical image segmentation. However, UNet2+ lacks sufficient information explored from the full scale, which will affect the learning of organs' location and boundary. Although UNet3+ can obtain the full-scale aggregation feature map, owing to the small number of neurons in the structure, it does not satisfy the segmentation of tiny objects when the number of samples is small. This paper proposes a novel network structure combining dense skip connections and full-scale skip connections, named UNet-sharp (UNet\#) for its shape similar to symbol \#. The proposed UNet\# can aggregate feature maps of different scales in the decoder sub-network and capture fine-grained details and coarse-grained semantics from the full scale, which benefits learning the exact location and accurately segmenting the boundary of organs or lesions. We perform deep supervision for model pruning to speed up testing and make it possible for the model to run on mobile devices; furthermore, designing two classification-guided modules to reduce false positives achieves more accurate segmentation results. Various experiments of semantic segmentation and instance segmentation on different modalities (EM, CT, MRI) and dimensions (2D, 3D) datasets, including the nuclei, brain tumor, liver, and lung, demonstrate that the proposed method outperforms state-of-the-art models.

研究の動機と目的

• UNet2+がフルスケールの文脈的情報を十分に捉えられていないこと、およびUNet3+が限られたトレーニングデータ下での小規模オブジェクトの処理に課題を抱えていることに対処する。
• 異なるスケールの特徴量統合を向上させるために、密なスキップ接続とフルスケールのスキップ接続の両方を活用する統一アーキテクチャを設計する。
• ディープスーパービジョンに基づくモデルの削減により、モバイルデバイスへのデプロイメントを可能にする効率的な推論を実現する。
• 境界の正確性を向上させるために、分類ガイドドモジュールを用いて誤検出を低減する。

提案手法

• 密なスキップ接続とフルスケールのスキップ接続を組み合わせた、#字型の構造を持つ新しいUNet#アーキテクチャを導入し、マルチスケール特徴量の統合を実現する。
• 最終出力および4つの中間層を含む8つのデコーダーブランチにわたり、ディープスーパービジョンを実装することで、階層的表現学習とモデルの削減を可能にする。
• マグニチュードに基づくマグニチュードプルーニングをディープスーパービジョンのブランチに適用し、パラメータ数を削減しながら性能を維持する。
• 異なる段階に2つの分類ガイドドモジュール（CGM）を統合し、意思決定境界を精緻化することで、過剰セグメンテーションと誤検出を抑制する。
• 異なる解像度の正例を用いたマルチスケールのスーパービジョンを導入し、デコーダーのすべての段階で特徴量学習をガイドする。
• セグメンテーションヘッドおよび分類ヘッドの両方で交差エントロピー損失とDice損失を用いて学習することで、局所化とクラス分離の両方を最適化する。

実験結果

リサーチクエスチョン

• RQ1 密な接続とフルスケール接続を組み合わせたハイブリッドスキップ接続設計が、医療画像セグメンテーションにおける特徴表現を向上させることができるか？
• RQ2 複数のデコーダーブランチにわたるディープスーパービジョンは、性能の低下を伴わずに効果的なモデルの削減を可能にするか？
• RQ3 分類ガイドドモジュールは、臓器および病変のセグメンテーションにおいて誤検出を低減し、境界の正確性を向上させることができるか？
• RQ4 UNet#は、多様な医療画像モodalitiesおよび次元において、最先端のモデルと比較してどのように性能を発揮するか？

主な発見

• BraTs19データセットにおいて、UNet#はDiceスコア95.60%、IoU 91.68%を達成し、比較したすべてのSOTAモデルを上回った。
• 分類ガイドドモジュール（CGM）を適用したUNet#は、BraTs19でDiceスコア96.14%、IoU 92.08%を達成し、ベースモデルと比較してそれぞれ0.54%および0.4%の向上を示した。
• Lits17データセットでは、UNet#が97.29%のDiceと94.79%のIoUを達成し、TransUNet や AttnUNet を含むすべてのベースラインを上回った。
• CGMモジュールの適用により、Lits17ではDiceスコアが0.95%、IoUが0.52%向上し、誤検出の低減における有効性が裏付けられた。
• ディープスーパービジョンに基づくプルーニングにより、パラメータ数が最大97倍（9.71Mから0.1Mに）削減されたが、推論精度は維持された。
• プルーニングされたL¹モデル（0.1Mパラメータ）はDSB2018で88.5%のIoUを達成し、モバイルデプロイメントの可能性を示した。