[論文レビュー] WORD: A large scale dataset, benchmark and clinical applicable study for abdominal organ segmentation from CT image

Xiangde Luo, Wenjun Liao+8 more|arXiv (Cornell University)|Nov 3, 2021

Radiomics and Machine Learning in Medical Imaging被引用数 11

ひとこと要約

本論文は、150例の腹部CTボリュームと16の臓器をピクセルレベルおよびスクラッチ（なぞり線）によるアノテーションを施した大規模で臨床的にアノテートされたデータセット、WORDを紹介する。このデータセットは、全腹部臓器セグメンテーションのためのディープラーニングモデルのベンチマーク評価を可能にする。研究では、小型で複雑な臓器において最先端モデルと臨床医との間で顕著な性能差が生じていることが明らかになった。これは、臨床現場への導入に向けた、アノテーションに依存しない（annotation-efficient）で汎用性の高い手法の開発が急務であることを示唆している。

ABSTRACT

Whole abdominal organ segmentation is important in diagnosing abdomen lesions, radiotherapy, and follow-up. However, oncologists' delineating all abdominal organs from 3D volumes is time-consuming and very expensive. Deep learning-based medical image segmentation has shown the potential to reduce manual delineation efforts, but it still requires a large-scale fine annotated dataset for training, and there is a lack of large-scale datasets covering the whole abdomen region with accurate and detailed annotations for the whole abdominal organ segmentation. In this work, we establish a new large-scale extit{W}hole abdominal extit{OR}gan extit{D}ataset ( extit{WORD}) for algorithm research and clinical application development. This dataset contains 150 abdominal CT volumes (30495 slices). Each volume has 16 organs with fine pixel-level annotations and scribble-based sparse annotations, which may be the largest dataset with whole abdominal organ annotation. Several state-of-the-art segmentation methods are evaluated on this dataset. And we also invited three experienced oncologists to revise the model predictions to measure the gap between the deep learning method and oncologists. Afterwards, we investigate the inference-efficient learning on the WORD, as the high-resolution image requires large GPU memory and a long inference time in the test stage. We further evaluate the scribble-based annotation-efficient learning on this dataset, as the pixel-wise manual annotation is time-consuming and expensive. The work provided a new benchmark for the abdominal multi-organ segmentation task, and these experiments can serve as the baseline for future research and clinical application development.

研究の動機と目的

• マルチ臓器セグメンテーションのための、大規模で高品質な全腹部CTデータセットが不足している問題に対処すること。
• 臨床的実データを用いた全腹部セグメンテーションにおけるディープラーニングモデルの評価のための標準化されたベンチマークを確立すること。
• 経験を積んだ腫瘍科医の診断と比較することで、ディープラーニングモデルの臨床的適用可能性を検証すること。
• アノテーションコストを低減するため、スパarsely annotated（スクラッチ）アノテーションを用いたアノテーションに依存しない学習法の有効性を検討すること。
• 多様なデータセット間でのモデルの汎化性能を評価し、腹部セグメンテーションにおけるドメインギャップを同定すること。

提案手法

• 150例のCTボリュームを含み、16の臓器がピクセルレベルおよびスクラッチでアノテートされた大規模で実臨床データベース（WORD）の構築。
• 放射線腫瘍学者および放射線科医による熟練した検証を経た、細分化された30,495枚のスライスを含むアノテーション。
• 12の最先端セグメンテーションモデルをWORDベンチマークで評価し、性能と臨床的妥当性を検証。
• 3名の若手腫瘍科医を対象にユーザースタディを実施し、モデル予測の修正を行い、モデル出力と臨床基準との乖離を定量化。
• エントロピーとクラス内強度分散を最小化するスクラッチベースの学習法を提案し、アノテーションの効率を向上。
• WORD、BTCV、TCIA、および外部のLiTSデータセットを用いてドメイン一般化を評価し、ドメインシフトの問題を同定。

実験結果

リサーチクエスチョン

• RQ1 最先端のディープラーニングモデルは、詳細な臓器アノテーションが施された大規模な全腹部CTデータセット上で、どの程度の性能を示すか？
• RQ2 小型で複雑な臓器に対して、ディープラーニングモデルの予測は、修正なしでどの程度臨床的に受け入れ可能か？
• RQ3 スクラッチベースの弱教師あり学習は、アノテーションコストを削減しつつ、セグメンテーション性能を維持するのにどの程度有効か？
• RQ4 WORDとBTCVやTCIAなどの公開データセットとの間にはどの程度のドメインギャップが存在し、それがモデルの一般化性能にどのように影響するか？
• RQ5 実臨床ワークフローにおける腹部マルチ臓器セグメンテーションのためのディープラーニングモデルの導入において、主な課題は何か？

主な発見

• 最先端モデルは肝臓、脾臓、腎臓などの大型臓器において高い性能を達成しており、腫瘍科医によるわずかな修正を経れば臨床的妥当性を満たしている。
• 胆嚢、食道、膵臓、十二指腸などの小型で複雑な臓器において、モデルと腫瘍科医との間で顕著な性能差が生じており、臨床的実用化にはまだ至っていないことが示唆された。
• スクラッチベースの学習法はベースラインを上回る性能を示したが、密度のあるアノテーション性能にはまだ及ばず、アノテーションに依存しない学習法のさらなる改善の余地があることが明らかになった。
• WORDデータセットとBTCVやTCIAなどの公開データセットとの間に顕著なドメインギャップが存在し、あるデータセットで学習したモデルが他のデータセットにうまく一般化できない可能性があることが示された。
• WORDデータセットは、包括的なアノテーションを備えた、最初の大規模で全腹部、マルチ臓器のデータセットであり、今後の研究の公平なベンチマークを提供する。