[論文レビュー] Concurrent Spatial and Channel Squeeze & Excitation in Fully Convolutional Networks

Abhijit Guha Roy, Nassir Navab+1 more|arXiv (Cornell University)|Mar 7, 2018

Advanced Neural Network Applications参考文献 6被引用数 158

ひとこと要約

本論文は、医用画像セグメンテーションのための完全畳み込みネットワーク（F-CNN）における特徴再キャリブレーションを向上させるために、空間的およびチャネル的 squeeze & excitation（scSE）モジュールを並列に導入する手法を提案する。空間的およびチャネル的次元を別々にsqueezeし、excitationすることで、scSEブロックは脳セグメンテーションで4–8%、全身CTセグメンテーションで2–3%の性能向上を達成し、計算コストの増加は最小限に抑えられる。

ABSTRACT

Fully convolutional neural networks (F-CNNs) have set the state-of-the-art in image segmentation for a plethora of applications. Architectural innovations within F-CNNs have mainly focused on improving spatial encoding or network connectivity to aid gradient flow. In this paper, we explore an alternate direction of recalibrating the feature maps adaptively, to boost meaningful features, while suppressing weak ones. We draw inspiration from the recently proposed squeeze & excitation (SE) module for channel recalibration of feature maps for image classification. Towards this end, we introduce three variants of SE modules for image segmentation, (i) squeezing spatially and exciting channel-wise (cSE), (ii) squeezing channel-wise and exciting spatially (sSE) and (iii) concurrent spatial and channel squeeze & excitation (scSE). We effectively incorporate these SE modules within three different state-of-the-art F-CNNs (DenseNet, SD-Net, U-Net) and observe consistent improvement of performance across all architectures, while minimally effecting model complexity. Evaluations are performed on two challenging applications: whole brain segmentation on MRI scans (Multi-Atlas Labelling Challenge Dataset) and organ segmentation on whole body contrast enhanced CT scans (Visceral Dataset).

研究の動機と目的

• 医用画像セグメンテーションのための完全畳み込みネットワーク（F-CNN）における特徴マップ再キャリブレーションを改善すること。
• セグメンテーションタスクにおいて、空間的excitationがチャネル的excitationよりも効果的かどうかを調査すること。
• cSE（チャネル的）、sSE（空間的）、scSE（並列空間的およびチャネル的excitation）の3種類のSEブロックバリエーションの提案と評価。
• SEモジュールの多様な最先端のF-CNNアーキテクチャ（DenseNet、SD-Net、U-Net）への汎用性を示すこと。
• 2つの挑戦的な医用画像処理応用、すなわち全脳および全身セグメンテーションにおけるパフォーマンス向上の妥当性を検証すること。

提案手法

• cSE（空間的squeeze、チャネルexcitation）、sSE（チャネルsqueeze、空間的excitation）、scSE（並列空間的およびチャネル的再キャリブレーション）の3種類のSEブロックバリエーションを提案。
• F-CNNのエンコーダーおよびデコーダーの各ブロックの後にSEブロックを統合し、空間的squeezeにはグローバル平均プーリング、チャネルワイド重み付けには全結合層を用いる。
• シグモイド活性化関数を介した学習可能なゲーティング機構を採用し、再キャリブレーションされたチャネルおよび空間記述子に基づいて特徴マップを動的に再重み付けする。
• 元の特徴マップを保存しつつ再キャリブレーションを適用するため、リサイジド接続に類似した構造を採用。
• scSEブロックは、空間的およびチャネル的再キャリブレーションを独立して計算し、要素ごとの加算により統合する。
• MRIおよびCTデータセットにおける検証損失の収束に基づく早期停止を用いた確率的勾配降下法でモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 F-CNNにおける画像セグメンテーションタスクにおいて、空間的excitationはチャネル的excitationを上回るか？
• RQ2 個別のモジュールを上回る性能向上を達成するため、並列空間的およびチャネル的再キャリブレーション（scSE）はさらに性能を向上させるか？
• RQ3 U-Net、SD-Net、DenseNetのような多様なF-CNNアーキテクチャに、SEブロックアーキテクチャは汎用的か？
• RQ4 SEブロックの統合は、異なる医用画像処理タスクにおいて一貫したパフォーマンス向上をもたらすか？
• RQ5 SEブロックの導入は、モデルの複雑さおよび推論効率にどのような影響を与えるか？

主な発見

• scSEブロックは最高のパフォーマンスを達成し、全脳セグメンテーションでは平均Diceスコアを4–8%、全身CTセグメンテーションでは2–3%向上させた。
• すべての実験においてsSEブロックがcSEブロックを上回り、セグメンテーションタスクにおいて空間的excitationがより情報を多く持つことが確認された。
• MALCデータセットでは、scSEを搭載したDenseNetが平均Diceスコア0.882 ± 0.063を達成し、ベースラインDenseNet（0.842 ± 0.058）を顕著に上回った。
• Visceralデータセットでは、scSEを強化したU-NetがDiceスコア0.881 ± 0.082を達成し、ベースラインU-Net（0.857 ± 0.106）に対して2.4%の相対的改善を示した。
• 定性的な結果から、scSEは左尾状体や脾臓のような小さな、難しい構造のセグメンテーションを改善し、低・過剰セグメンテーションエラーを低減した。
• 性能向上は、モデルの複雑さの増加がほとんどないことから、SEブロック統合の効率性が裏付けられた。