[論文レビュー] UNet++: Redesigning Skip Connections to Exploit Multiscale Features in Image Segmentation

Zongwei Zhou, Md Mahfuzur Rahman Siddiquee+2 more|arXiv (Cornell University)|Dec 11, 2019

Advanced Neural Network Applications参考文献 65被引用数 76

ひとこと要約

UNet++ は密に接続されたスキップ接続と深層監督を用いて、内蔵されたU-Netsのアンサンブルからのマルチスケール特徴を融合し、セマンティックおよびインスタンス医用画像分割を改善し、推論を高速化するための剪定を実施します。

ABSTRACT

The state-of-the-art models for medical image segmentation are variants of U-Net and fully convolutional networks (FCN). Despite their success, these models have two limitations: (1) their optimal depth is apriori unknown, requiring extensive architecture search or inefficient ensemble of models of varying depths; and (2) their skip connections impose an unnecessarily restrictive fusion scheme, forcing aggregation only at the same-scale feature maps of the encoder and decoder sub-networks. To overcome these two limitations, we propose UNet++, a new neural architecture for semantic and instance segmentation, by (1) alleviating the unknown network depth with an efficient ensemble of U-Nets of varying depths, which partially share an encoder and co-learn simultaneously using deep supervision; (2) redesigning skip connections to aggregate features of varying semantic scales at the decoder sub-networks, leading to a highly flexible feature fusion scheme; and (3) devising a pruning scheme to accelerate the inference speed of UNet++. We have evaluated UNet++ using six different medical image segmentation datasets, covering multiple imaging modalities such as computed tomography (CT), magnetic resonance imaging (MRI), and electron microscopy (EM), and demonstrating that (1) UNet++ consistently outperforms the baseline models for the task of semantic segmentation across different datasets and backbone architectures; (2) UNet++ enhances segmentation quality of varying-size objects -- an improvement over the fixed-depth U-Net; (3) Mask RCNN++ (Mask R-CNN with UNet++ design) outperforms the original Mask R-CNN for the task of instance segmentation; and (4) pruned UNet++ models achieve significant speedup while showing only modest performance degradation. Our implementation and pre-trained models are available at https://github.com/MrGiovanni/UNetPlusPlus.

研究の動機と目的

• セグメンテーションモデルにおける未知の最適深さに対処することで、標準の U-Net を上回る改良の推進。
• エンコーダ-デコーダ経路を横断してマルチスケール特徴を統合する、柔軟なスキップ接続方式を開発する。
• 深層監督を介して性能を向上させるため、単一アーキテクチャ内で複数の深さを持つ U-Nets の訓練を可能にする。
• セグメンテーション精度の大幅な低下を伴わずに推論を高速化する剪定機構を提供する。
• 複数のバックボーンと医用画像モダリティにわたる UNet++ の拡張性を示す。

提案手法

• 共通のエンコーダを共有し、デコーダが絡み合うように配置されたさまざまな深さの U-Nets のアンサンブルを形成する。
• デコーダ特徴を代替スケールのエンコーダ Features と密に融合するようスキップ接続を再設計する（密なスキップ接続）。
• 中間デコーダノードに深層監督を適用して、すべての構成U-Netsを同時に訓練し、推論時の剪定を可能にする。
• デコーダごとに等しい重みで合算した、ピクセル単位のクロスエントロピーとソフト Dice 損失を組み合わせたハイブリッド損失を定義する。
• 推論時により深いデコーダ経路を削除して、より高速な剪定バリアントを作成する剪定スキームを導入する（UNet++ Ld）。
• Mask RCNN++ を、FPN のスキップ接続を UNet++ スタイルの接続に置換して、インスタンス分割を改善する。

実験結果

リサーチクエスチョン

• RQ1 複数の医用画像データセットおよびバックボーンにわたって、UNet++ は一貫して U-Net よりもセマンティック分割性能を向上させるか？
• RQ2 密に接続されたスキップ接続と深層監督は、マルチスケール特徴の融合と収束にどのような影響を与えるか？
• RQ3 深層監督による剪定は、IoU/Dice の最小限の損失で推論を大幅に高速化できるか？
• RQ4 UNet++ は他のアーキテクチャ（例：Mask R-CNN）やモダリティ（CT、MRI、EM など）に拡張可能か？
• RQ5 剪定されたサブネットワークの埋め込み訓練は、浅いネットの性能において分離訓練より優れるか？

主な発見

• UNet++ は六つのセグメンテーションデータセットと複数のバックボーンにおいて、一貫して U-Net および Wide U-Net を上回る。
• 深層監督とアンサンブル型のアーキテクチャが追加の IoU 増加を生み、いくつかのケースで約 0.6–0.8 ポイントに達する。
• 密なスキップ接続により効果的なマルチスケール特徴の融合が可能となり、核、脳腫瘍、肝臓、肺結節の分割を改善した。
• Mask RCNN++ は、UNet++ デザインを用いた Mask R-CNN よりインスタンス分割を改善（ IoU 93.28% から 95.10%、 Dice 87.91% から 91.36%）。
• 剪定された UNet++（例：UNet++ L3）は、推論約 32.2% 高速化、メモリ削減 75.6%、 IoU の低下は約 0.6 ポイント程度と実質的な速度向上を達成する。
• 剪定されたサブネットワークの埋め込み訓練は、特に過度の剪定下で、個別訓練より性能が優れる。