[論文レビュー] Universal Segmentation of 33 Anatomies

Pengbo Liu, Yang Deng+13 more|arXiv (Cornell University)|Mar 4, 2022

Medical Imaging and Analysis被引用数 6

ひとこと要約

本論文は、7つの部分的にラベル付けされたデータセット（うちCTSpine1Kと呼ばれる新しい大規模CTスライスデータセットを含む）を用いて学習された、33個の解剖構造を対象とする汎用的セグメンテーションモデルを提案する。パッチベース学習における文脈の制限を克服するため、長距離特徴集約を向上させるクロスパッチトランスフォーマーモジュール（CPTM）を導入し、ファインチューニング後にVerse19およびVerse20を含むオープンベンチマークで最先端の汎化性能を達成した。

ABSTRACT

In the paper, we present an approach for learning a single model that universally segments 33 anatomical structures, including vertebrae, pelvic bones, and abdominal organs. Our model building has to address the following challenges. Firstly, while it is ideal to learn such a model from a large-scale, fully-annotated dataset, it is practically hard to curate such a dataset. Thus, we resort to learn from a union of multiple datasets, with each dataset containing the images that are partially labeled. Secondly, along the line of partial labelling, we contribute an open-source, large-scale vertebra segmentation dataset for the benefit of spine analysis community, CTSpine1K, boasting over 1,000 3D volumes and over 11K annotated vertebrae. Thirdly, in a 3D medical image segmentation task, due to the limitation of GPU memory, we always train a model using cropped patches as inputs instead a whole 3D volume, which limits the amount of contextual information to be learned. To this, we propose a cross-patch transformer module to fuse more information in adjacent patches, which enlarges the aggregated receptive field for improved segmentation performance. This is especially important for segmenting, say, the elongated spine. Based on 7 partially labeled datasets that collectively contain about 2,800 3D volumes, we successfully learn such a universal model. Finally, we evaluate the universal model on multiple open-source datasets, proving that our model has a good generalization performance and can potentially serve as a solid foundation for downstream tasks.

研究の動機と目的

• 複数の構造体を同時にセグメンテーションするための、大規模かつ完全ラベル付け済みの3次元医療画像データセットの不足に取り組むこと。
• 複数のデータセットにまたがり、椎骨、骨盤骨、腹部臓器を含む多様な解剖構造を一括してセグメンテーション可能な汎用モデルを構築すること。
• CTSpine1Kと呼ばれる大規模でオープンソースのデータセットを構築・公開することで、脊椎セグメンテーション分野のデータギャップを埋めること。このデータセットには1,003体の3次元CTボリュームと11,000個以上の椎骨ラベルが含まれる。
• パッチベースの3次元セグメンテーションにおける文脈モデリングを向上させること、特に脊椎のような細長い構造に対して、新規のクロスパッチトランスフォーマーモジュール（CPTM）を用いて長距離の文脈学習を強化すること。
• 未学習のオープンデータセット上で、汎用モデルの優れた汎化性能を実証し、将来的なタスクに向けた基盤モデルとしての可能性を検証すること。

提案手法

• 汎用モデルは、7つの部分的にラベル付けされたデータセットを用いて、擬似ラベル付け戦略に基づいて学習された。異なるソースから得られた多様な解剖的ラベルを統合した。
• パッチ間の特徴を統合するために、クロスパッチトランスフォーマーモジュール（CPTM）を導入し、有効な受容 field を拡大し、長距離の文脈学習を向上させた。
• CPTMは3つの重複する3次元パッチ上で動作し、自己注意機構を用いてパッチ境界を越えて情報を集約することで、細長い構造に対する特徴表現を強化した。
• モデルはnnU-Netフレームワークに基づいて構築され、3次元医療画像セグメンテーションタスクにおける頑健性と柔軟性を活かした。
• GPUメモリ制限のため、学習プロセスでは3次元パッチを切り取って使用した。CPTMは、グローバルな文脈の損失を補うように特に設計された。
• 汎用モデルは再学習なしに複数のオープンデータセットで評価され、ターゲットデータセットでファインチューニングすることで、移行性と性能向上を評価した。

実験結果

リサーチクエスチョン

• RQ1 1つのディープラーニングモデルが、複数の部分的にラベル付けされたデータセットにまたがる33種類の多様な解剖構造を、一貫して高い性能でセグメンテーションできるか？
• RQ2 標準的なパッチベース手法と比較して、クロスパッチトランスフォーマーモジュール（CPTM）は、脊椎のような細長い解剖的構造のセグメンテーション精度をどの程度向上させるか？
• RQ3 部分的にラベル付けされたデータセットの統合学習によって事前学習されたモデルは、Amos、CLINIC、Verse19、Verse20などのオープンベンチマークにどの程度一般化できるか？
• RQ4 新しく構築されたCTSpine1Kデータセットは、従来の小規模な脊椎データセットと比較して、脊椎セグメンテーションモデルの性能と一般化能力を顕著に向上させるか？
• RQ5 ファインチューニングを経て、汎用モデルが下流タスクの強力な基盤として機能できるか？

主な発見

• ファインチューニング後、Verse19テストセットでDiceスコア0.904、HD95が10.28を達成し、複雑な3段階設計を用いたSOTA手法を上回った。
• Verse20テストセットでは、Diceスコア0.866、HD95が18.03を達成し、別の脊椎セグメンテーションベンチマークでも優れた汎化性能を示した。
• ベースライン手法と比較して、AmosデータセットではDiceスコアが2.5ポイント向上、HD95が35.7%改善され、CLINICデータセットではDiceが2.0ポイント向上、HD95が23.5%改善された。
• クロスパッチトランスフォーマーモジュール（CPTM）は椎骨同定率を顕著に向上させ、ファインチューニング後のVerse19バリデーションで99.7%の同定率を達成し、構造的認識能力の向上を示した。
• Amosデータセットでは93.4%、Verse19テストセットでは96.8%の椎骨同定率を達成し、多様な解剖的構成においても強力な性能を示した。
• 1,003体の3次元CTボリュームと11,000個以上のラベル付き椎骨を含むCTSpine1Kデータセットは、脊椎セグメンテーション分野における重要なデータギャップを埋め、コミュニティ支援のためオープンソースで公開された。