[論文レビュー] The state-of-the-art 3D anisotropic intracranial hemorrhage segmentation on non-contrast head CT: The INSTANCE challenge

Xiangyü Li, Gongning Luo+32 more|arXiv (Cornell University)|Jan 9, 2023

Intracerebral and Subarachnoid Hemorrhage Research被引用数 19

ひとこと要約

INSTANCE 2022 MICCAIチャレンジは、非対称の非造影頭部CTにおける頭蓋内出血の分割評価を標準化し、4つの指標に対して13の手法を比較し、ICH分割のデータ・手法・ボトルネックを浮き彫りにする。

ABSTRACT

Automatic intracranial hemorrhage segmentation in 3D non-contrast head CT (NCCT) scans is significant in clinical practice. Existing hemorrhage segmentation methods usually ignores the anisotropic nature of the NCCT, and are evaluated on different in-house datasets with distinct metrics, making it highly challenging to improve segmentation performance and perform objective comparisons among different methods. The INSTANCE 2022 was a grand challenge held in conjunction with the 2022 International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI). It is intended to resolve the above-mentioned problems and promote the development of both intracranial hemorrhage segmentation and anisotropic data processing. The INSTANCE released a training set of 100 cases with ground-truth and a validation set with 30 cases without ground-truth labels that were available to the participants. A held-out testing set with 70 cases is utilized for the final evaluation and ranking. The methods from different participants are ranked based on four metrics, including Dice Similarity Coefficient (DSC), Hausdorff Distance (HD), Relative Volume Difference (RVD) and Normalized Surface Dice (NSD). A total of 13 teams submitted distinct solutions to resolve the challenges, making several baseline models, pre-processing strategies and anisotropic data processing techniques available to future researchers. The winner method achieved an average DSC of 0.6925, demonstrating a significant growth over our proposed baseline method. To the best of our knowledge, the proposed INSTANCE challenge releases the first intracranial hemorrhage segmentation benchmark, and is also the first challenge that intended to resolve the anisotropic problem in 3D medical image segmentation, which provides new alternatives in these research fields.

研究の動機と目的

• 非対称な3D NCCTデータ上でのICH分割手法の公正で客観的な比較を促進する。
• 頭蓋内出血分割の標準化データセットと評価プロトコルを提供する。
• 分割性能に対する非対称性と出血サブタイプの影響を評価する。
• 現在のICH分割と非対称データ処理におけるボトルネックを特定し、将来の改善を導く。

提案手法

• refined radiologist annotationsを用いた200個のNCCTボリュームデータセットを作成し、train/validation/testに分割する（100/30/70）。
• 4つの評価指標（DSC, HD, RVD, NSD）と、参加チーム間での集約→ランク付け評価フレームワークを定義した。
• INSTANCEデータ上で参照性能を確立するためにベースラインSLEX-NETモデルを再訓練した。
• 参加者は主に2D/3DのnnU-Netを含むU-Netベースのアーキテクチャ、データ拡張、アンサンブリング、多様な損失関数を使用した。
• 公平な比較を可能にするベースライン実装とGrand Challenge互換のパイプラインを提供した。

実験結果

リサーチクエスチョン

• RQ1 最先端の3D分割手法は、頭蓋内出血のための非対称NCCTボリュームをどのように扱うか。
• RQ2 標準化指標を用いたINSTANCEデータ上で、2D/3D/ハイブリッドの異なるアーキテクチャのベンチマーク性能はどうなるか。
• RQ3 血腫体積の大きさと出血サブタイプは分割精度にどのような影響を及ぼすか。
• RQ4 現在のICH分割におけるボトルネックは何か、非対称処理をどのように改善できるか。

主な発見

Team	DSC(%) 	NSD(%) 	RVD	HD(mm)
T1	79.12 b1 23.00	50.26 b1 19.91	0.21 b1 0.20	29.02 b1 26.34
T2	78.21 b1 18.45	55.28 b1 12.67	0.20 b1 0.18	32.30 b1 30.04
T3	71.60 b1 30.10	50.60 b1 21.30	0.29 b1 0.30	inf
T4	73.55 b1 26.74	51.57 b1 18.10	0.24 b1 0.24	27.16 b1 32.41
T5	73.39 b1 27.38	51.93 b1 18.99	0.25 b1 0.27	inf
T6	79.53 b1 17.18	56.81 b1 12.47	0.20 b1 0.18	21.56 b1 25.02
T7	71.12 b1 29.38	50.19 b1 20.56	0.27 b1 0.30	inf
T8	72.34 b1 28.52	48.93 b1 19.57	0.58 b1 1.65	35.37 b1 29.53
T9	69.96 b1 30.26	48.75 b1 19.66	0.26 b1 0.27	inf
T10	69.28 b1 28.39	46.34 b1 19.54	0.36 b1 0.44	36.23 b1 2.01
T11	52.87 b1 29.66	27.36 b1 14.38	2.16 b1 4.86	149.77 b1 44.52
T12	64.76 b1 31.42	40.26 b1 19.93	0.52 b1 0.76	57.13 b1 22.53
T13	67.16 b1 33.19	45.58 b1 22.35	0.27 b1 0.29	38.88 b1 39.56

• 優勝者はテストデータセットで平均DSC0.6925を達成し、ベースラインを大幅に上回る性能を示した。
• 13チームにわたる平均DSCは40.22%〜72.06%、NSDは25.11%〜53.59%、RVDは0.21〜1.55、HDは21.56mm〜149.77mm（多くが検出失敗を示す無限大）であった。
• ベースラインのSLEX-Netはテスト段階でDSC 52.83%、NSD 0.725を達成し、全体的な難易度を示した。
• 小さな出血（低血腫体積）は、方法間で分割が著しく難しいことが、体積-DSC分析から示唆される。
• 出血性くも膜下出血（SAH）は、サブタイプの中で一貫して最も低い性能を示し、改善の重要なボトルネックを示している。