[論文レビュー] Multi-organ Segmentation over Partially Labeled Datasets with Multi-scale Feature Abstraction

Xi Fang, Pingkun Yan|arXiv (Cornell University)|Jan 1, 2020

Advanced Neural Network Applications参考文献 54被引用数 8

ひとこと要約

本稿では、部分的にラベル付けされたデータセットを用いた多臓器セグメンテーションのための、マルチスケール特徴抽象化を備えた新しい2次元U-Netベースのネットワーク、PIPO-FANを提案する。等深さ畳み込みと適応重み付けを用いてピラミッド入力および出力特徴を統合し、1ステップの推論で最先端の性能を達成し、1つのGPUでスライスあたり0.04秒の高速処理を実現した。

ABSTRACT

Shortage of fully annotated datasets has been a limiting factor in developing deep learning based image segmentation algorithms and the problem becomes more pronounced in multi-organ segmentation. In this paper, we propose a unified training strategy that enables a novel multi-scale deep neural network to be trained on multiple partially labeled datasets for multi-organ segmentation. In addition, a new network architecture for multi-scale feature abstraction is proposed to integrate pyramid input and feature analysis into a U-shape pyramid structure. To bridge the semantic gap caused by directly merging features from different scales, an equal convolutional depth mechanism is introduced. Furthermore, we employ a deep supervision mechanism to refine the outputs in different scales. To fully leverage the segmentation features from all the scales, we design an adaptive weighting layer to fuse the outputs in an automatic fashion. All these mechanisms together are integrated into a Pyramid Input Pyramid Output Feature Abstraction Network (PIPO-FAN). Our proposed method was evaluated on four publicly available datasets, including BTCV, LiTS, KiTS and Spleen, where very promising performance has been achieved. The source code of this work is publicly shared at https://github.com/DIAL-RPI/PIPO-FAN for others to easily reproduce the work and build their own models with the introduced mechanisms.

研究の動機と目的

• 多臓器セグメンテーションにおける完全ラベル化済み医療画像データセットの限界に取り組む。
• 複数の部分的にラベル付けされたデータセットを統合的に活用し、一般化性能を向上させる統一されたトレーニング戦略を開発する。
• 階層的な方法でマルチスケールの入力および出力特徴を統合することで、深層ネットワークにおける特徴抽象化を強化する。
• マルチステップの3次元手法と比較して、トレーニングおよび推論コストを低減しながら、セグメンテーション精度を維持または向上させる。
• 異なるアノテーションカバレッジを持つ異種のデータセットを用いて、より広範な臨床応用を可能にするエンドツーエンドのトレーニングを実現する。

提案手法

• 多臓器セグメンテーションを目的としたU字型アーキテクチャを備えた、ピラミッド入力およびピラミッド出力（PIPO）特徴抽象化ネットワーク（PIPO-FAN）を提案する。
• 入力画像の異なるスケールレベルに並列畳み込みを適用するマルチスケール入力処理モジュールを導入する。
• 特徴マップのスケール間でのアライメントを図り、スキップ接続における意味的ギャップを低減するため、等深さ畳み込み機構を採用する。
• 複数のデコーダーステージでディープスーパービジョンを適用し、異なるスケールでの予測を精緻化する。
• 特徴の重要度に基づいてマルチスケール出力を動的に統合するため、アテンション機構を用いた適応重み付け層を設計する。
• BTCV、LiTS、KiTS、Spleenの4つの公開データセットを用い、部分アノテーション付きで統一戦略に基づきエンドツーエンドでモデルをトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 U-Netアーキテクチャにおけるマルチスケール特徴抽象化は、部分的にラベル付けされた医療画像データセットにおけるセグメンテーション精度を向上させ得るか？
• RQ2 等深さ畳み込みを用いたピラミッド入力および出力特徴の統合は、スキップ接続における意味的ギャップをどのように低減するか？
• RQ3 アテンション機構を用いた適応的特徴統合は、複数の臓器におけるセグメンテーション性能にどのような影響を与えるか？
• RQ4 1つの2次元ネットワークは、より少ない計算コストでマルチステップの3次元ネットワークと同等の性能を達成できるか？
• RQ5 複数の部分的にラベル付けされたデータセットでトレーニングすることで、多臓器セグメンテーションにおけるモデルのロバスト性および一般化性能はどのように向上するか？

主な発見

• PIPO-FANはLiTSチャレンジのテストセットで96.1%のDiceスコアを達成し、トップパフォーマンスを示した手法（DeepX）と同等の性能を示したが、1ステップの推論のみを要した。
• 1つのTitan Xp GPUで1スライスのセグメンテーションを0.04秒で処理でき、同等または優れた性能を達成する中で報告された最速の手法である。
• 対称的表面距離（SSD: 1.413 vs. 1.450）および平均SSD（24.408 vs. 27.118）において、既存の2次元および3次元ネットワークを上回った。
• 5つの入力および出力スケールを使用した場合が最良のパフォーマンスを示し、スケール数を3から5に増やすことでDiceスコアが94.5%（3スケール）から95.6%（5スケール）に向上した。これは文脈的特徴抽象化の向上を示している。
• 複数の部分的にラベル付けされたデータセットを用いた統一トレーニング戦略は、多様な解剖的領域にわたるモデルのロバスト性および一般化性能を顕著に向上させた。
• ソースコードはGitHubで公開されており、再現性が保たれるとともに、他の画像モalityやデータセットへの応用が可能である。