[論文レビュー] Concurrent Spatial and Channel Squeeze & Excitation in Fully Convolutional Networks

Abhijit Guha Roy, Nassir Navab+1 more|arXiv (Cornell University)|Mar 7, 2018

Advanced Neural Network Applications被引用数 7

ひとこと要約

本論文は、医用画像セグメンテーションにおける完全畳み込みネットワーク（F-CNN）向けに、空間的およびチャネル的圧縮・活性化（SE）モジュールを導入する。scSEブロックを用いて空間的およびチャネル的次元に同時に特徴マップを再キャリブレーションすることで、U-Net、SD-Net、DenseNetアーキテクチャにおいて脳および全身のMRI/CTセグメンテーションタスクで一貫した性能向上を達成し、計算コストの増加は最小限で、Diceスコアが最大8%向上した。

ABSTRACT

Fully convolutional neural networks (F-CNNs) have set the state-of-the-art in image segmentation for a plethora of applications. Architectural innovations within F-CNNs have mainly focused on improving spatial encoding or network connectivity to aid gradient flow. In this paper, we explore an alternate direction of recalibrating the feature maps adaptively, to boost meaningful features, while suppressing weak ones. We draw inspiration from the recently proposed squeeze & excitation (SE) module for channel recalibration of feature maps for image classification. Towards this end, we introduce three variants of SE modules for image segmentation, (i) squeezing spatially and exciting channel-wise (cSE), (ii) squeezing channel-wise and exciting spatially (sSE) and (iii) concurrent spatial and channel squeeze & excitation (scSE). We effectively incorporate these SE modules within three different state-of-the-art F-CNNs (DenseNet, SD-Net, U-Net) and observe consistent improvement of performance across all architectures, while minimally effecting model complexity. Evaluations are performed on two challenging applications: whole brain segmentation on MRI scans (Multi-Atlas Labelling Challenge Dataset) and organ segmentation on whole body contrast enhanced CT scans (Visceral Dataset).

研究の動機と目的

• 完全畳み込みネットワーク（F-CNN）における医用画像セグメンテーションのための特徴マップ表現を向上させることを目的とし、特徴を適応的に再キャリブレーションすること。
• 従来の圧縮・活性化（SE）モジュールがチャネル単位での再キャリブレーションに限定されているという限界を解決すること。これはセグメンテーションタスクにおいて効果が劣る。
• ピクセルレベルのセグメンテーションにおいてより情報を発信すると想定される空間的次元に沿った特徴再キャリブレーションを可能にする、新しい空間的圧縮・活性化（sSE）ブロックを提案すること。
• 両方の再キャリブレーション機構を統合することで特徴選別性を向上させる、空間的およびチャネル的SE（scSE）ブロックを導入すること。
• これらのSEモジュールが複数の最先端F-CNNアーキテクチャおよび2つの挑戦的な医用画像アプリケーションにおいて有効であることを検証すること。

提案手法

• 空間次元を圧縮してチャネル記述子を得るためのチャネル単位の圧縮・活性化（cSE）ブロックを提案。グローバル平均プーリングを用い、その後に学習可能な活性化重みを適用してチャネルを再キャリブレーションする。
• チャネルを圧縮して空間的アテンションマップを生成する空間的圧縮・活性化（sSE）ブロックを導入。このアテンションマップを用いて空間的特徴を再重み付けする。
• cSEとsSEを独立して適用し、要素ごとの結合によって特徴マップを精錬する、空間的およびチャネル的SE（scSE）ブロックを設計。
• F-CNNのエンコーダーおよびデコーダーブロックの各後にSEブロックを統合し、最小限のアーキテクチャ変更でエンドツーエンド学習を可能にする。
• scSEブロックでは二本のブランチを採用：一方はチャネル再キャリブレーション（cSE）のため、他方は空間再キャリブレーション（sSE）のため。両ブランチは全結合層による学習可能なスケーリングを経由する。
• SEブロックをU-Net、SD-Net、DenseNetの3つのF-CNNアーキテクチャに適用し、異なるネットワーク設計における一般化性を評価する。

実験結果

リサーチクエスチョン

• RQ1 F-CNNにおいて、チャネル単位の再キャリブレーションに比べ、空間的圧縮・活性化がセグメンテーション性能を向上させるか？
• RQ2 同時に空間的およびチャネル的再キャリブレーション（scSE）は、個別のcSEまたはsSEモジュールよりも優れた性能を発揮するか？
• RQ3 SEブロックの統合がF-CNNにおけるモデルの複雑性および推論効率に与える影響は？
• RQ4 提案されたSEモジュールは、U-Net、SD-Net、DenseNetといった異なるF-CNNアーキテクチャおよび医用画像アプリケーションに一般化可能か？
• RQ5 SEブロックによる性能向上は、多様な解剖的構造において統計的に有意かつ一貫しているか？

主な発見

• cSE、sSE、またはscSEのいずれかのSEブロックを組み込むことで、すべてのネットワークおよびデータセットでDiceスコアが統計的に有意に向上した（p ≤ 0.001、Wilcoxon符号順位検定）。
• 空間的圧縮・活性化（sSE）ブロックはチャネル単位のcSEブロックを上回る性能を示し、セグメンテーションタスクにおいて空間的情報がより重要であることを裏付けた。
• 空間的およびチャネル的SE（scSE）ブロックは最高の性能を達成し、全身脳セグメンテーションではベースラインと比較して4–8%の相対的スコア上昇、全身セグメンテーションでは2–3%の上昇を記録した。
• 全身脳セグメンテーションでは、scSEブロックによりU-NetのDiceスコアが0.843 ± 0.062から0.862 ± 0.082に、DenseNetでは0.771 ± 0.150から0.860 ± 0.062に向上し、特に挑戦的な構造において顕著な向上を示した。
• 定性的な結果から、scSEは小さな構造（例：左尾状体）の過小セグメンテーションや臓器（例：脾臓）の過大セグメンテーションを効果的に是正しており、局所化精度の向上を確認した。
• scSEによる性能向上は、モデルの複雑性をほとんど増加させないため、医用画像分野におけるF-CNNへの効率的かつ汎用的な強化手段として非常に有望である。