[論文レビュー] FD-FCN: 3D Fully Dense and Fully Convolutional Network for Semantic Segmentation of Brain Anatomy

Binbin Yang, Weiwei Zhang|arXiv (Cornell University)|Jul 22, 2019

Medical Image Segmentation Techniques参考文献 6被引用数 9

ひとこと要約

本稿では、T1強調MR画像における皮質下脳構造の高速かつ高精度なセマンティックセグメンテーションを目的として、FD-FCNを提案する。このネットワークは、アップサンプリングパスをダウンサンプリングボトルネックに置き換えることで、再設計された受容野が拡大された密度ブロックを統合し、空間的文脈を保つためにスペクトル座標を組み込む。FD-FCNは、IBSRデータセットにおいて89.81%のDiceスコアを達成し、1スキャンあたり53秒の推論時間を実現し、FC-DenseNet や DeepNAT よりも精度と効率の両面で優れている。

ABSTRACT

In this paper, a 3D patch-based fully dense and fully convolutional network (FD-FCN) is proposed for fast and accurate segmentation of subcortical structures in T1-weighted magnetic resonance images. Developed from the seminal FCN with an end-to-end learning-based approach and constructed by newly designed dense blocks including a dense fully-connected layer, the proposed FD-FCN is different from other FCN-based methods and leads to an outperformance in the perspective of both efficiency and accuracy. Compared with the U-shaped architecture, FD-FCN discards the upsampling path for model fitness. To alleviate the problem of parameter explosion, the inputs of dense blocks are no longer directly passed to subsequent layers. This architecture of FD-FCN brings a great reduction on both memory and time consumption in training process. Although FD-FCN is slimmed down, in model competence it gains better capability of dense inference than other conventional networks. This benefits from the construction of network architecture and the incorporation of redesigned dense blocks. The multi-scale FD-FCN models both local and global context by embedding intermediate-layer outputs in the final prediction, which encourages consistency between features extracted at different scales and embeds fine-grained information directly in the segmentation process. In addition, dense blocks are rebuilt to enlarge the receptive fields without significantly increasing parameters, and spectral coordinates are exploited for spatial context of the original input patch. The experiments were performed over the IBSR dataset, and FD-FCN produced an accurate segmentation result of overall Dice overlap value of 89.81% for 11 brain structures in 53 seconds, with at least 3.66% absolute improvement of dice accuracy than state-of-the-art 3D FCN-based methods.

研究の動機と目的

• 軽量で効率的かつ高精度な3次元完全畳み込み型ネットワークの開発により、脳解剖構造セグメンテーションのボトルネックを解消すること。
• トレーニング中のメモリ消費量を低減しつつ、高いセグメンテーション精度を維持するモデル効率の向上。
• スペクトル座標による空間的文脈の統合により、マルチスケールの文脈を強化し、密度付き推論能力を向上させること。
• 皮質下構造セグメンテーションにおいて、既存のFCNベース手法を精度と推論速度の両面で上回ること。
• 大規模神経画像研究に適したリアルタイムまたはニアリアルタイムのセグメンテーションを可能にすること。

提案手法

• アップサンプリングおよびスキップ接続パスを排除することで、メモリとトレーニング時間を削減するダウンサンプリングに基づく完全畳み込みアーキテクチャを採用。
• 直接的なパラメータ爆発を回避しつつ、層間の特徴を統合する新設計の密度ブロックを導入し、特徴の再利用と受容野の拡大を促進。
• ボトルネック層にスペクトル座標を統合することで、空間的文脈を保持し、局所化精度を向上。
• 中間層の特徴を最終予測に埋め込むことで、マルチスケール特徴間の一貫性を促進し、微細な詳細を埋め込む。
• 限られたGPUメモリ上で効率的なトレーニングを可能にするために、27³の入力パッチと9³の出力パッチを用いたパッチベースのトレーニング戦略を採用。
• アダム最適化法を用い、学習率スケジュールにコサイン減衰を適用し、15エポックで早期停止を行うエンドツーエンドのトレーニングを実施。

実験結果

リサーチクエスチョン

• RQ1 完全に畳み込み的かつ完全に密度的な3次元ネットワークは、高速な推論と低いメモリ使用量を維持しながら、優れたセグメンテーション精度を達成できるか？
• RQ2 U字型のアップサンプリングパスをダウンサンプリングボトルネックに置き換えることで、トレーニング効率とモデル性能にどのような影響を与えるか？
• RQ3 受容野が拡大された再設計された密度ブロックは、パラメータ数の増加を伴わずに、特徴表現をどの程度向上させるか？
• RQ4 スペクトル座標の統合は、3次元脳MRIセグメンテーションにおける空間的文脈の強化にどの程度効果的か？
• RQ5 提案されたアーキテクチャは、最先端のマルチタスクモデルと同等またはそれを上回る精度を維持しながら、ニアリアルタイムのセグメンテーションを達成できるか？

主な発見

• FD-FCNはIBSRデータセットにおける11の皮質下脳構造で平均89.81%のDiceスコアを達成し、FC-DenseNet（86.15%）を著しく上回り、DeepNAT（89.76%）と同等の精度を達成した。
• 1スキャンあたり53秒の推論時間を実現し、DeepNATの73分と比較して顕著な改善を示したが、同等の精度を維持した。
• パッチベースのトレーニングとパrameter負荷の低減により、1エポックあたり約1.5時間のトレーニング時間にまで短縮された。これは、FC-DenseNetの1エポックあたり3日間と比較して顕著な改善である。
• 再設計された密度ブロックの統合により、これらのブロックを含まないベースラインと比較してDiceスコアが1.24%向上した。
• スペクトル座標とデカルト座標の追加により、Diceスコアが1.37%向上し、空間的文脈を保持する有効性が示された。
• 可視化結果では、FD-FCNはヘミゾームや脳幹のような複雑な構造においても、アーチファクトや不審な粒子を含まず、滑らかで高精度なセグメンテーションを生成していることが確認された。