[論文レビュー] `Project & Excite' Modules for Segmentation of Volumetric Medical Scans

Anne-Marie Rickmann, Abhijit Guha Roy+3 more|arXiv (Cornell University)|Jun 11, 2019

Advanced Neural Network Applications参考文献 9被引用数 7

ひとこと要約

本稿では、3次元畳み込みニューラルネットワーク（CNN）の再キャリブレーションブロックとして、『Project & Excite』（PE）モジュールを提案する。従来のsqueeze-and-excite（SE）モジュールがグローバル平均プーリングを用いるのに対し、PEモジュールは特徴マップを3つの主軸に沿って投影してから活性化を行うことで、空間情報を保持する。この手法により、困難な全身脳および全身のセグメンテーションタスクにおいて、3D U-NetのDiceスコアを最大5%向上させつつ、モデルの複雑さはわずか2%増加にとどまる。

ABSTRACT

Fully Convolutional Neural Networks (F-CNNs) achieve state-of-the-art performance for image segmentation in medical imaging. Recently, squeeze and excitation (SE) modules and variations thereof have been introduced to recalibrate feature maps channel- and spatial-wise, which can boost performance while only minimally increasing model complexity. So far, the development of SE has focused on 2D images. In this paper, we propose `Project & Excite' (PE) modules that base upon the ideas of SE and extend them to operating on 3D volumetric images. `Project & Excite' does not perform global average pooling, but squeezes feature maps along different slices of a tensor separately to retain more spatial information that is subsequently used in the excitation step. We demonstrate that PE modules can be easily integrated in 3D U-Net, boosting performance by 5% Dice points, while only increasing the model complexity by 2%. We evaluate the PE module on two challenging tasks, whole-brain segmentation of MRI scans and whole-body segmentation of CT scans. Code: https://github.com/ai-med/squeeze_and_excitation

研究の動機と目的

• 小規模な解剖的構造の処理が困難になる3次元フルコンボリューショナルネットワーク（F-CNN）の限界を解消するため、過学習と限られたトレーニングデータの影響を軽減すること。
• グローバル平均プーリングによって空間的文脈が失われる3次元squeeze-and-excite（SE）モジュールの問題を克服し、微細なセグメンテーションに不可欠な空間的文脈を保持すること。
• モデルの複雑さを著しく増加させることなく、特徴マップ表現を向上させる軽量で効率的な再キャリブレーションモジュールを開発すること。
• 3次元ボリュメトリック医療スキャンにおける3D U-Netアーキテクチャにおいて、標準的な3次元SEブロックおよび追加の畳み込み層と比較して、提案手法の優位性を実証すること。

提案手法

• 3次元ボリュメトリック医療スキャンに特化した、squeeze-and-excite（SE）ブロックの3次元拡張として『Project & Excite』（PE）モジュールを提案する。
• 3次元SEにおけるグローバル平均プーリングを、3つの空間軸（H, W, D）に沿ったチャンネル別平均を計算する『プロジェクション』操作に置き換え、空間構造を保持する。
• 得られた3つのプロジェクションベクトル（1軸あたり1つ）を、これらの空間的にインフォームドな記述子間のチャネル依存関係を学習する活性化サブネットワークの入力として使用する。
• 3D U-Netの各エンコーダーおよびデコーダーブロックの後にPEブロックを統合し、FLOPsやパラメータ数を著しく増加させることなく、各段階でグローバルな受容野を実現する。
• 標準的な交差エントロピー損失を用いて学習を行い、評価指標としてDice係数を用い、PEとベースライン3D U-Netおよび3DチャネルSE（cSE）モジュールを比較する。
• PEブロックをプラグアンドプレイ形式で適用し、3D F-CNNアーキテクチャ（例：3D U-Net）と互換性を持つことを保証する。

実験結果

リサーチクエスチョン

• RQ1 3次元空間軸に沿ったプロジェクションを用いることで空間情報を保持する3次元再キャリブレーションモジュールは、グローバル平均プーリングに依存する標準的な3次元SEモジュールを上回る性能を発揮するか？
• RQ2 PEモジュールは、扁桃体や気管などの小規模な解剖的構造の3次元ボリュメトリックスキャンにおけるセグメンテーション精度を向上させるか？
• RQ3 PEモジュールは、追加の畳み込み層を追加した場合と同等の性能向上を達成しつつ、モデルの複雑さをわずか2%増加に抑えることができるか？
• RQ4 PEモジュールは、全身脳MRIや全身CTセグメンテーションといった多様な医療画像処理タスクにおいて有効であるか？
• RQ5 PEモジュールは、ベースラインモデルおよび3次元cSEモジュールと比較して、小規模構造における性能低下を軽減するか？

主な発見

• MALCデータセット（全身脳MRI）ではPEモジュールが平均Diceスコアを4%向上、Visceralデータセット（全身CT）では3.5%向上させた。
• 下側外側側頭室、扁桃体、伏隔核などの小規模構造では、PEモジュールがDiceスコアを3–36%ポイント向上させたが、3D cSEモジュールは性能低下を示した。
• 気管および胸骨では、PEモジュールがそれぞれDiceスコア0.845および0.699を達成したのに対し、3D cSEは0.491および0.427にとどまり、小規模で複雑な構造において優れた性能を示した。
• PEモジュールはモデルの複雑さをわずか2%増加させながら、Diceスコアを5%向上させた。これに対して、2つの追加畳み込み層を追加した場合、複雑さは40%増加したが性能向上はそれ以上ではなかった。
• 可視化結果から、PEモデルは左下側外側側頭室や気管分岐部といった小規模構造を正確にセグメンテーションできており、ベースライン3D U-Netおよび3D cSEモデルでは見逃されていた。
• PEモジュールは全身脳および全身セグメンテーションタスクの両方で一貫した性能向上を示し、3次元医療画像セグメンテーション分野への広範な適用可能性を示した。