[論文レビュー] DoDNet: Learning to segment multi-organ and tumors from multiple partially labeled datasets

Jianpeng Zhang, Yutong Xie+2 more|arXiv (Cornell University)|Nov 20, 2020

Advanced Neural Network Applications参考文献 37被引用数 8

ひとこと要約

DoDNetは、タスクに応じた適応的セグメンテーションヘッドを備えた共有エンコーダ・デコーダを用い、部分的にラベル付けされたCTデータセットから複数の腹部臓器および腫瘍を動的にセグメンテーションする動的オンデマンドネットワークである。DoDNetは7つのセグメンテーションタスクで最先端の性能を達成し、大規模なMOTSデータセットを用いた事前学習により、ラベルが限られた下流タスクへの強力な転移学習を可能にした。

ABSTRACT

Due to the intensive cost of labor and expertise in annotating 3D medical images at a voxel level, most benchmark datasets are equipped with the annotations of only one type of organs and/or tumors, resulting in the so-called partially labeling issue. To address this, we propose a dynamic on-demand network (DoDNet) that learns to segment multiple organs and tumors on partially labeled datasets. DoDNet consists of a shared encoder-decoder architecture, a task encoding module, a controller for generating dynamic convolution filters, and a single but dynamic segmentation head. The information of the current segmentation task is encoded as a task-aware prior to tell the model what the task is expected to solve. Different from existing approaches which fix kernels after training, the kernels in dynamic head are generated adaptively by the controller, conditioned on both input image and assigned task. Thus, DoDNet is able to segment multiple organs and tumors, as done by multiple networks or a multi-head network, in a much efficient and flexible manner. We have created a large-scale partially labeled dataset, termed MOTS, and demonstrated the superior performance of our DoDNet over other competitors on seven organ and tumor segmentation tasks. We also transferred the weights pre-trained on MOTS to a downstream multi-organ segmentation task and achieved state-of-the-art performance. This study provides a general 3D medical image segmentation model that has been pre-trained on a large-scale partially labelled dataset and can be extended (after fine-tuning) to downstream volumetric medical data segmentation tasks. The dataset and code areavailableat: https://git.io/DoDNet

研究の動機と目的

• 高コストなラベリングのため、部分的にラベル付けされたデータセットしか入手できない状況において、3D医療画像における多臓器および腫瘍セグメンテーションの課題に対処すること。
• 既存のマルチネットワークおよびマルチヘッドアプローチが部分的にラベル付けされたデータに対して非効率的かつ不柔軟であるという問題を克服すること。
• タスクおよび入力コンテキストに応じて、適応的にセグメンテーションフィルタを生成できる、1つの効率的で柔軟なモデルを開発すること。
• 下流のセグメンテーションタスクのための事前学習と転移学習を支援する、部分的にラベル付けされた大規模データセット（MOTS）を構築すること。
• DoDNetの一般化性能および転移性が、現実世界のラベルが限られた医療画像シナリオにおいても有効であることを実証すること。

提案手法

• タスク固有の畳み込みフィルタをリアルタイムに生成する、1つの動的セグメンテーションヘッドを備えた共有エンコーダ・デコーダアーキテクチャを提案する。
• タスク固有の事前知識を埋め込むタスクエンコーディングモジュールを導入し、動的ヘッドのフィルタ生成を条件づける。
• 入力画像特徴量とタスク埋め込みに基づいて、動的畳み込みカーネルを生成する軽量なコントローラーネットワークを設計する。
• 各データセットが1つの臓器または腫瘍タイプのラベルのみを含む、複数の部分的にラベル付けされたデータセット上で、モデルをエンドツーエンドに訓練する。
• バッチごとに有効なヘッドのみを更新するマルチタスク学習戦略を採用し、計算リソースの無駄を最小限に抑える。
• 下流タスクへの微調整の前に、920例の部分的にラベル付けされた腹部CTスキャンからなる大規模なMOTSデータセットを用いてDoDNetを事前学習する。

実験結果

リサーチクエスチョン

• RQ1 1つのディープラーニングモデルが、複数の部分的にラベル付けされたデータセットから、複数の臓器および腫瘍を効果的にセグメンテーション学習できるか？
• RQ2 動的でタスクに応じたセグメンテーションヘッドは、固定フィルタやマルチヘッドアーキテクチャと比較して、効率性および性能でどのように向上するか？
• RQ3 MOTSのような大規模な部分的にラベル付けされたデータセットで事前学習したモデルが、ラベルが限られた下流タスクにどの程度一般化できるか？
• RQ4 提案された動的ヘッド機構は、マルチネットワークやマルチヘッドの代替手段と比較して、推論速度およびパラメータ効率性において優れているか？
• RQ5 DoDNetは、完全ラベル付きデータを必要とせずに、多様な臓器および腫瘍セグメンテーションベンチマークで最先端の性能を達成できるか？

主な発見

• DoDNetは、MOTSベンチマーク上での7つの臓器および腫瘍セグメンテーションタスクで、精度および推論速度の両面で最先端の性能を達成した。
• モデルの動的ヘッドは、マルチヘッドネットワークと比較してより高速な推論を実現し、繰り返し推論時における計算オーバーヘッドは無視できるほど小さい。
• MOTSデータセットでの事前学習により、BCV多臓器セグメンテーションタスクへの微調整の収束速度と最終的な性能が顕著に向上した。
• BCVテストセットでは、MOTS事前学習済みのDoDNetが平均Diceスコア86.44%を達成し、学習から開始した場合（85.30%）および他の最先端手法を上回った。表面距離およびハウスドルフ距離の指標でも優れた性能を示した。
• 事前学習済みDoDNetモデルは、平均表面距離を1.46から1.17、ハウスドルフ距離を19.67から15.62に短縮し、比較対象手法の中で表面距離が最良で、Diceスコアは2番目に高い成績を収めた。
• MOTS事前学習重みを用いた転移学習により、BCVチャレンジにおいて顕著な性能向上が得られ、未観測でラベルが限られたタスクへの強力な一般化能力を示した。