[論文レビュー] Spatially Localized Atlas Network Tiles Enables 3D Whole Brain Segmentation from Limited Data

Yuankai Huo, Zhoubing Xu+7 more|arXiv (Cornell University)|Jun 1, 2018

Advanced Neural Network Applications参考文献 12被引用数 8

ひとこと要約

本稿では、標準MNIアトラス空間内の部分空間に分散配置された重複する3次元完全畳み込みネットワーク（U-Net変種）を用いることで、限られた手動ラベル付きデータから全脳セグメンテーションを高精度に実現する、空間的に局所化されたアトラスネットワークタイル（SLANT）を提案する。マルチアトラスセグメンテーションによる補助ラベルを事前学習に活用し、ラベル統合を組み合わせることで、最先端のDiceスコア（平均0.776）を達成し、推論時間を30時間以上（MAS）から約15分に短縮した。

ABSTRACT

Whole brain segmentation on a structural magnetic resonance imaging (MRI) is essential in non-invasive investigation for neuroanatomy. Historically, multi-atlas segmentation (MAS) has been regarded as the de facto standard method for whole brain segmentation. Recently, deep neural network approaches have been applied to whole brain segmentation by learning random patches or 2D slices. Yet, few previous efforts have been made on detailed whole brain segmentation using 3D networks due to the following challenges: (1) fitting entire whole brain volume into 3D networks is restricted by the current GPU memory, and (2) the large number of targeting labels (e.g., > 100 labels) with limited number of training 3D volumes (e.g., < 50 scans). In this paper, we propose the spatially localized atlas network tiles (SLANT) method to distribute multiple independent 3D fully convolutional networks to cover overlapped sub-spaces in a standard atlas space. This strategy simplifies the whole brain learning task to localized sub-tasks, which was enabled by combing canonical registration and label fusion techniques with deep learning. To address the second challenge, auxiliary labels on 5111 initially unlabeled scans were created by MAS for pre-training. From empirical validation, the state-of-the-art MAS method achieved mean Dice value of 0.76, 0.71, and 0.68, while the proposed method achieved 0.78, 0.73, and 0.71 on three validation cohorts. Moreover, the computational time reduced from > 30 hours using MAS to ~15 minutes using the proposed method. The source code is available online https://github.com/MASILab/SLANTbrainSeg

研究の動機と目的

• GPUメモリ制限とラベル次元の高さのため、限られた手動ラベル付き全脳MRIスキャンに対して3次元ディープラーニングネットワークを訓練する課題に対処すること。
• 45枚の手動トレーススキャンのみを用いて、100以上の解剖的構造の全脳セグメンテーション精度を向上させること。
• 従来のマルチアトラスセグメンテーション（MAS）が1スキャンあたり30時間以上を要するのと比較し、計算時間の短縮を図ること。
• 標準的な画像処理（アライメント、強度統合、ラベル統合）とディープラーニングを統合し、頑健で空間的に一貫性のあるセグメンテーションを実現すること。

提案手法

• 大規模なボリュームのセグメンテーションをGPUメモリ制限内で処理できるように、標準MNIアトラス空間内の重複する部分空間に複数の独立した3次元U-Netネットワーク（ネットワークタイル）を分散配置する。
• 各ネットワークタイルは、133の出力チャネルを備えた3次元完全畳み込みネットワークを用い、脳の局所的領域に対して133の解剖的ラベルを予測するように訓練される。
• 5,111枚のラベルなしスキャンに対して非局所的空間STAPLE（NLSS）マルチアトラスセグメンテーションを用いて補助ラベルを生成し、ネットワークタイルの事前学習に活用した。
• 強度の統合を、強度ベクトルをソートしたのち回帰ベースの手法を用いて行い、スキャン間の正規化を実施することで、学習の安定性を向上させた。
• 推論後、重複するタイル間で多数決によるラベル統合を適用し、一貫性のある全脳セグメンテーションを生成した。
• 最終的なターゲット解剖構造に適応するため、45枚の手動ラベル付きスキャンを用いて微調整を実施した。

実験結果

リサーチクエスチョン

• RQ1 マルチアトラスセグメンテーションによる補助ラベルで訓練された局所化された3次元完全畳み込みネットワークは、限られた手動ラベル付きデータでも、優れた全脳セグメンテーション精度を達成できるか？
• RQ2 MNI空間における重複する部分空間に3次元ネットワークを分散配置することで、グローバル3次元U-Netやパッチベース手法と比較して、セグメンテーション性能が向上するか？
• RQ3 強度統合と標準的なアライメント技術は、データが限られる状況下でもディープラーニングベースのセグメンテーションを向上させられるか？
• RQ4 従来のマルチアトラスセグメンテーションと比較して、提案手法の計算効率（推論時間）はどの程度優れているか？
• RQ5 重複するネットワークタイルの予測結果をラベル統合することで、空間的一致性とセグメンテーション精度が向上するか？

主な発見

• SLANT-27はOASISコhortで平均Dice類似係数（DSC）0.776 ± 0.012を達成し、最先端のMAS手法（0.760 ± 0.012）を顕著に上回った。
• Colin27コhortでは、SLANT-27が平均DSC 0.732を達成したのに対し、最良のベースライン（JLF）は0.646であった。p値 < 0.05により統計的有意性が確認された。
• 微調整を施したSLANT-27は、1スキャンあたり約15分の推論時間に短縮された。これに対して従来のMASは30時間以上を要した。
• 5,111枚の補助ラベル付きスキャンを用いた事前学習により、45枚の手動ラベル付きスキャンでの学習のみと比較して性能が著しく向上し、OASISコhortで平均DSCが0.020向上した。
• 重複するタイル間のラベル統合により、個々のタイルの誤予測が是正されたことが図2で視覚的に確認された（赤矢印：誤ったラベルが最終出力で是正された）。
• OASIS、Colin27、CANDIの多様なバリデーションコホートにおいて、本手法は一貫した性能向上を示し、すべての3つのデータセットで安定した改善効果を示した。