[論文レビュー] The Liver Tumor Segmentation Benchmark (LiTS)

Patrick Bilic, Patrick Ferdinand Christ+107 more|Rare & Special e-Zone (The Hong Kong University of Science and Technology)|Jan 13, 2019

Hepatocellular Carcinoma Treatment and Prognosis被引用数 251

ひとこと要約

LiTSは、データセット、ISBI/MICCAIイベントを横断するチャレンジの設定、および肝臓と腫瘍のセグメンテーションと腫瘍検出の最先端結果を詳述する、公衆の多施設CT肝臓および肝腫瘍セグメンテーションベンチマークを紹介します。

ABSTRACT

In this work, we report the set-up and results of the Liver Tumor Segmentation Benchmark (LiTS), which was organized in conjunction with the IEEE International Symposium on Biomedical Imaging (ISBI) 2017 and the International Conferences on Medical Image Computing and Computer-Assisted Intervention (MICCAI) 2017 and 2018. The image dataset is diverse and contains primary and secondary tumors with varied sizes and appearances with various lesion-to-background levels (hyper-/hypo-dense), created in collaboration with seven hospitals and research institutions. Seventy-five submitted liver and liver tumor segmentation algorithms were trained on a set of 131 computed tomography (CT) volumes and were tested on 70 unseen test images acquired from different patients. We found that not a single algorithm performed best for both liver and liver tumors in the three events. The best liver segmentation algorithm achieved a Dice score of 0.963, whereas, for tumor segmentation, the best algorithms achieved Dices scores of 0.674 (ISBI 2017), 0.702 (MICCAI 2017), and 0.739 (MICCAI 2018). Retrospectively, we performed additional analysis on liver tumor detection and revealed that not all top-performing segmentation algorithms worked well for tumor detection. The best liver tumor detection method achieved a lesion-wise recall of 0.458 (ISBI 2017), 0.515 (MICCAI 2017), and 0.554 (MICCAI 2018), indicating the need for further research. LiTS remains an active benchmark and resource for research, e.g., contributing the liver-related segmentation tasks in \url{http://medicaldecathlon.com/}. In addition, both data and online evaluation are accessible via \url{www.lits-challenge.com}.

研究の動機と目的

• 肝臓と腫瘍のアノテーションを含む、巨大で多様な公開腹部CTスキャンデータセットを提供する。
• 自動化肝臓および肝腫瘍セグメンテーションの標準化された、複数年にわたるベンチマーキングフレームワークを確立する。
• 最先端のセグメンテーション手法を評価し、肝臓と腫瘍タスク全体での性能を分析する。
• オンライン評価ツールと統計を提供し、進捗を追跡し再現性を促進する。

提案手法

• 7つの機関から201の腹部CTボリュームを組成し、訓練131画像とテスト70画像で、ほとんどが肝病変を含む。
• 放射線科医とブラインド読者による検証のため、肝臓および腫瘍ラベルをスライス単位で手動アノテーションを適用する。
• LiTSを3つのチャレンジイベント（ISBI 2017、MICCAI 2017、MICCAI 2018 Decathlon）として組織し、Codalabベースのオンライン評価プラットフォームを提供する。
• 主要評価指標としてDiceスコアを含む評価指標を定義し、表面距離（ASD、MSSD）および体積差（RVD）を追加する。
• 病変検出指標（IoU、精度、再現率、F1）を3D連結成分上で計算する。
• オープンソースの評価コードを公開し、継続的なベンチマークのためのオンラインリーダーボードを維持する。

実験結果

リサーチクエスチョン

• RQ1 自動化された肝臓および肝腫瘍セグメンテーション手法は、多様な多施設CTデータに対してどの程度一般化できるか？
• RQ2 トップのセグメンテーション手法は、肝臓セグメンテーションと肝腫瘍セグメンテーションでどのように性能が異なるか？
• RQ3 LiTSデータセットにおける腫瘍検出の現在の手法の限界は何か？
• RQ4 評価指標は、異なるLiTSチャレンジ間でのセグメンテーション手法のランキングにどのような影響を与えるか？

主な発見

• 肝臓セグメンテーションの最高 Diceスコアは、イベントを通じて0.963を達成した。
• 肝腫瘍セグメンテーションの最高 Diceスコアは、0.674（ISBI 2017）、0.702（MICCAI 2017）、0.739（MICCAI 2018）であった。
• 肝腫瘍検出の病変単位リコールの最高は、0.458（ISBI 2017）、0.515（MICCAI 2017）、0.554（MICCAI 2018）である。
• 検出結果は、トップのセグメンテーション手法が腫瘍検出で一貫して優れていないことを示しており、改善の余地を浮き彫りにしている。
• LiTSは継続的なデータとオンライン評価（www.lits-challenge.com）を提供し、Medical Decathlonの肝臓タスクに貢献した。