[論文レビュー] Recalibrating Fully Convolutional Networks with Spatial and Channel 'Squeeze & Excitation' Blocks

Abhijit Guha Roy, Nassir Navab+1 more|arXiv (Cornell University)|Aug 23, 2018

Advanced Neural Network Applications被引用数 13

ひとこと要約

本論文は、医療画像セグメンテーションのための完全畳み込みネットワーク（F-CNN）において、空間的およびチャネル的「圧縮＆励起」（SE）ブロックを導入し、特徴マップの再キャリブレーションを行う。特徴を空間的またはチャネル単位で適応的に再重み付けすることで、計算コストを最小限に抑えながら意味のある表現を強化し、3つのベンチマークデータセットで4〜9%のDiceスコア向上を達成した。モデルの複雑さはわずか1.5%増加にとどまった。

ABSTRACT

In a wide range of semantic segmentation tasks, fully convolutional neural networks (F-CNNs) have been successfully leveraged to achieve state-of-the-art performance. Architectural innovations of F-CNNs have mainly been on improving spatial encoding or network connectivity to aid gradient flow. In this article, we aim towards an alternate direction of recalibrating the learned feature maps adaptively; boosting meaningful features while suppressing weak ones. The recalibration is achieved by simple computational blocks that can be easily integrated in F-CNNs architectures. We draw our inspiration from the recently proposed 'squeeze & excitation' (SE) modules for channel recalibration for image classification. Towards this end, we introduce three variants of SE modules for segmentation, (i) squeezing spatially and exciting channel-wise, (ii) squeezing channel-wise and exciting spatially and (iii) joint spatial and channel 'squeeze & excitation'. We effectively incorporate the proposed SE blocks in three state-of-the-art F-CNNs and demonstrate a consistent improvement of segmentation accuracy on three challenging benchmark datasets. Importantly, SE blocks only lead to a minimal increase in model complexity of about 1.5%, while the Dice score increases by 4-9% in the case of U-Net. Hence, we believe that SE blocks can be an integral part of future F-CNN architectures.

研究の動機と目的

• 完全畳み込みネットワーク（F-CNN）におけるセマンティックセグメンテーション性能を、空間的エンコーディングや接続性の強化にとどまらず、中間特徴マップの再キャリブレーションによって向上させること。
• 特に微細な医療画像セグメンテーションタスクにおいて、独立した空間的およびチャネル単位の特徴再キャリブレーションが無視されている問題に対処すること。
• 元々画像分類に用いられた圧縮＆励起（SE）モジュールの成功を、空間的SE（sSE）および空間的・チャネル的統合SE（scSE）の変種を導入することで、セマンティックセグメンテーション分野に拡張すること。
• SEブロックが汎用的かつプラグアンドプレイ可能なコンponentであり、多様なF-CNNアーキテクチャおよび医療画像アプリケーションにおいて一貫した性能向上を実現することを示すこと。

提案手法

• チャネルに沿って特徴マップを圧縮し、空間的に励起する新しい空間的圧縮＆励起（sSE）ブロックを提案。これにより、空間的注目が顕著な領域に集中できる。
• 空間的およびチャネル的両方の特徴再キャリブレーションを別々に処理し、要素ごとのmax-out操作で統合する、空間的およびチャネル的を統合した圧縮＆励起（scSE）ブロックを導入。
• 元のチャネル単位のSE（cSE）ブロックをF-CNNに適応し、グローバル平均プーリングを用いてチャネル固有の重みを学習させ、特徴マップを再重み付けする。
• cSE、sSE、scSEブロックを、U-Net、ReLayNet、SD-Netの3つの最先端F-CNNアーキテクチャに統合し、一貫した性能向上を実現。
• 空間的およびチャネル的再キャリブレーションの出力を統合するためのmax-out融合戦略を採用。これにより、ネットワークが最も情報の多い再キャリブレーション経路を動的に選択可能になる。
• MRI、CT、OCTスキャンをそれぞれ用いた、3つの挑戦的な医療画像処理タスク（全脳、全身、網膜層セグメンテーション）で手法を検証。

実験結果

リサーチクエスチョン

• RQ1 空間的再キャリブレーションによる圧縮＆励起が、チャネル単位の再キャリブレーションのみに比べて、F-CNNにおけるセグメンテーション精度を向上させるか？
• RQ2 空間的およびチャネル的SEブロックを統合的に組み合わせることで、個々のコンponentを上回る特徴表現の向上が達成されるか？
• RQ3 SEブロックは、顕著なアーキテクチャ変更なしに、既存のF-CNNアーキテクチャにスムーズに統合可能か？
• RQ4 SEブロックによる性能向上は、モデル容量の増加に起因するのか、それとも、より深くまたは広いアーキテクチャでは達成できない独自の再キャリブレーションダイナミクスに起因するのか？
• RQ5 トレーニング中に空間的およびチャネル的注目マップはどのように変化するか？また、それらは医療画像の解剖学的構造と整合するか？

主な発見

• 提案された空間的圧縮＆励起（sSE）ブロックは、微細な解剖的構造に対して特に顕著な性能向上を示し、元のチャネル単位SE（cSE）ブロックを上回った。
• 空間的・チャネル的統合SE（scSE）ブロックが最も高い性能向上を達成し、モデル複雑さがわずか1.5%増加したU-NetアーキテクチャではDiceスコアが9%向上した。
• MALCデータセットでは、scSEブロックの追加によりDiceスコアが0.771から0.867に向上し、モデル複雑さが33.2%増加する追加のエンコーダ/デコーダブロックを上回った。
• 深層部（例：sD-4）における空間活性化マップはトレーニング中に動的に変化し、白質や小脳などの構造が段階的に強調されるようになり、効果的な空間的注目学習が行われていることが示された。
• sSEおよびscSEブロックは、画像アーチファクトによって引き起こされる不連続な予測を是正する。網膜OCTセグメンテーションの事例では、scSEが境界の明確化を向上させた。
• 空間的励起のダイナミクスから、ネットワークがトレーニング初期段階で解剖学的境界や構造を強調し始め、エポックを経るごとに活性化パターンが洗練されていくことが明らかになった。