[論文レビュー] 3D Whole Brain Segmentation using Spatially Localized Atlas Network Tiles

Yuankai Huo, Zhoubing Xu+8 more|arXiv (Cornell University)|Mar 28, 2019

Medical Image Segmentation Techniques参考文献 64被引用数 11

ひとこと要約

本論文では、空間的に局所化された3次元完全畳み込みネットワーク（FCN）を複数用いることで、高解像度全脳セグメンテーションを向上させる深層学習フレームワークであるSpatially Localized Atlas Network Tiles（SLANT）を提案する。マルチアトラスセグメンテーションからの補助ラベルを用いて訓練し、ネットワークを空間的領域に分散させることで、従来のマルチアトラス手法よりも優れた精度を達成するとともに、推論時間を30時間以上からわずか15分に短縮した。

ABSTRACT

Detailed whole brain segmentation is an essential quantitative technique, which provides a non-invasive way of measuring brain regions from a structural magnetic resonance imaging (MRI). Recently, deep convolution neural network (CNN) has been applied to whole brain segmentation. However, restricted by current GPU memory, 2D based methods, downsampling based 3D CNN methods, and patch-based high-resolution 3D CNN methods have been the de facto standard solutions. 3D patch-based high resolution methods typically yield superior performance among CNN approaches on detailed whole brain segmentation (>100 labels), however, whose performance are still commonly inferior compared with multi-atlas segmentation methods (MAS) due to the following challenges: (1) a single network is typically used to learn both spatial and contextual information for the patches, (2) limited manually traced whole brain volumes are available (typically less than 50) for training a network. In this work, we propose the spatially localized atlas network tiles (SLANT) method to distribute multiple independent 3D fully convolutional networks (FCN) for high-resolution whole brain segmentation. To address the first challenge, multiple spatially distributed networks were used in the SLANT method, in which each network learned contextual information for a fixed spatial location. To address the second challenge, auxiliary labels on 5111 initially unlabeled scans were created by multi-atlas segmentation for training. Since the method integrated multiple traditional medical image processing methods with deep learning, we developed a containerized pipeline to deploy the end-to-end solution. From the results, the proposed method achieved superior performance compared with multi-atlas segmentation methods, while reducing the computational time from >30 hours to 15 minutes (https://github.com/MASILab/SLANTbrainSeg).

研究の動機と目的

• 全脳セグメンテーションにおける3次元パッチベースCNNの限界、特にマルチアトラスセグメンテーション（MAS）手法に比べて性能が劣ることを克服すること。
• 通常50例未満の手動でトレースされた全脳ボリュームに制限がある課題に対処するため、5,111例のラベルなしMRIスキャンに対してマルチアトラスセグメンテーションを適用し、補助ラベルを生成することで、トレーニングデータを拡張すること。
• 1つのグローバルネットワークが空間的および文脈的特徴を同時に捉える負担を軽減するために、独立した3次元完全畳み込みネットワーク（FCN）を空間的位置に分散させることで、文脈的および空間的特徴の学習を向上させること。
• 深層学習と従来の医用画像処理を統合したスケーラブルでコンテナ化されたパイプラインを構築し、エンドツーエンドのデプロイメントを可能にすること。

提案手法

• SLANT手法は、脳の固定された空間的領域に特化した複数の独立した3次元完全畳み込みネットワーク（FCN）を配置し、局所的な文脈的情報を学習する。
• 各ネットワークは、指定された空間的位置を中心とする高解像度パッチで訓練され、局所的な解剖学的構造の正確なモデリングが可能になる。
• 5,111例の以前ラベルが付与されていなかったMRIスキャンに対してマルチアトラスセグメンテーションを用いて補助トレーニングラベルを生成し、手動でトレースされたボリュームの数に制限がある状況を補填した。
• 従来の医用画像処理（例：アトラスベースのレジistration）と深層学習推論を統合するためのコンテナ化パイプラインを開発した。
• 空間的局所化を活用することで、空間的特徴と文脈的特徴の学習を分離し、1つのネットワークが両方を同時に捉える負担を軽減した。
• モデル推論は、空間的に分散されたすべてのネットワークの予測を統合することで実行され、全脳の完全カバレッジセグメンテーションが保証された。

実験結果

リサーチクエスチョン

• RQ1 パッチベースのCNNと比較して、空間的に局所化された3次元完全畳み込みネットワークは、100以上のラベルを持つ全脳構造のセグメンテーション精度を向上させることができるか？
• RQ2 手動でトレースされたスキャンが限られている状況において、マルチアトラスセグメンテーションで生成された補助ラベルを用いたトレーニングが、深層学習モデルの性能に与える影響は何か？
• RQ3 空間的領域に複数の独立したネットワークを分散させることで、計算コストの増加を伴わずに局所的な解剖学的文脈のモデリングを向上させることができるか？
• RQ4 従来のマルチアトラスセグメンテーションと深層学習を組み合わせたハイブリッドパイプラインは、推論時間を短縮しつつ、精度を維持または向上させることができるか？
• RQ5 コンテナ化されたモジュラーなシステムは、臨床的および研究的環境における、このような複雑なセグメンテーションパイプラインの信頼性と再現可能性のあるデプロイメントを可能にするか？

主な発見

• SLANT手法は、100以上のラベルを持つ全脳構造について、従来のマルチアトラスセグメンテーション手法よりも優れたセグメンテーション性能を達成した。
• 推論時間は30時間以上からわずか15分に短縮され、従来のマルチアトラスアプローチと比較して120倍の高速化が達成された。
• 5,111例のラベルなしスキャンに対してマルチアトラスセグメンテーションを用いて生成された補助ラベルのおかげで、手動トレースボリュームの不足を補填する有効なトレーニングデータの拡張が実現した。
• ネットワークの空間的局所化により、各ネットワークが特定の解剖学的領域に特化することで、文脈モデリングの向上が図られ、特徴学習が向上した。
• コンテナ化されたパイプラインにより、エンドツーエンドのセグメンテーションシステムの信頼性、再現性、スケーラビリティが確保された。