[論文レビュー] The KiTS21 Challenge: Automatic segmentation of kidneys, renal tumors, and renal cysts in corticomedullary-phase CT

Nicholas Heller, Fabian Isensee+43 more|arXiv (Cornell University)|Jul 5, 2023

Renal cell carcinoma treatment被引用数 32

ひとこと要約

KiTS21 は、公開アノテーション ワークフローの新規性、ROI ごとの複数のアノテーション、皮質髄期 CT における腎臓、腫瘍、嚢胞の自動セグメンテーションを進展させる外部テストセットを特徴とする課題で、KiTS19 に比べて大幅な改善を達成し、人間レベルの性能に近づいています。

ABSTRACT

This paper presents the challenge report for the 2021 Kidney and Kidney Tumor Segmentation Challenge (KiTS21) held in conjunction with the 2021 international conference on Medical Image Computing and Computer Assisted Interventions (MICCAI). KiTS21 is a sequel to its first edition in 2019, and it features a variety of innovations in how the challenge was designed, in addition to a larger dataset. A novel annotation method was used to collect three separate annotations for each region of interest, and these annotations were performed in a fully transparent setting using a web-based annotation tool. Further, the KiTS21 test set was collected from an outside institution, challenging participants to develop methods that generalize well to new populations. Nonetheless, the top-performing teams achieved a significant improvement over the state of the art set in 2019, and this performance is shown to inch ever closer to human-level performance. An in-depth meta-analysis is presented describing which methods were used and how they faired on the leaderboard, as well as the characteristics of which cases generally saw good performance, and which did not. Overall KiTS21 facilitated a significant advancement in the state of the art in kidney tumor segmentation, and provides useful insights that are applicable to the field of semantic segmentation as a whole.

研究の動機と目的

• KiTS21 データセットと腎臓、腫瘍、嚢胞のセグメンテーションのための透明で公開されたアノテーションプロセスを導入する。
• 別の機関からの外部テストセットを用いて一般化を評価する。
• 技術と性能を結ぶメタ解析を通じてリーダーボード手法を分析する。
• 医用画像診断のセマンティックセグメンテーションに関する教訓と指針を強調する。

提案手法

• 再現性のためのプロセスと手順を文書化した公開ウェブベースのアノテーションプラットフォーム。
• 局在化、ガイダンス、描出の三段階のアノテーションワークフローと、ROIごとに三つの独立した描出を用いて描出誤差を計測・制御。
• 三つのセグメンテーションクラス（Kidney、Tumor、Cyst）を含む拡張と階層的評価（HECs）。
• 階層クラス全体でSprite DiceとSurface Diceに基づくリーダーボード、腫瘍 Dice でのタイブレークを含む。
• 明確さと完全性を確保するための構造化テンプレートを用いた方法論論文の提出前ピアレビュー。

実験結果

リサーチクエスチョン

• RQ1 内部の訓練データと比較して、外部の機関が異なるテストセット上でセグメンテーションモデルはどのように性能を発揮するか？
• RQ2 どのモデリングアプローチと設計選択（例：nnU-Net、コース・トゥ・ファイン、転移学習、アテンション機構）がKiTS21で最も良い性能をもたらすか？
• RQ3 ROIごとの複数アノテーション、公開閲覧といったデータアノテーション戦略がモデル性能と再現性に与える影響は？
• RQ4 階層評価クラス（HECs）が腫瘍および嚢胞のセグメンテーションにおける公平性と誤差ペナルティに与える影響は？
• RQ5 KiTS21データセット内のサブポピュレーション（例：人種や性別）間で性能格差は見られるか？

主な発見

• トップ5のチームは主要指標で人間レベルのセグメンテーションに密接に一致する性能を達成し、KiTS19を大きく上回る顕著な進歩を示した。
• nnU-Netベースのアプローチが上位に多く、コース・トゥ・ファインや転移学習も上位の参加者で一般的だった。
• ROIごとに三つの独立したアノテーションが変動性の分析を可能にし、階層的セグメンテーション下での堅牢な評価を保証した。
• 外部テストセットの評価は、機関間・地理的な一般化の証拠を提供した。
• メタ解析は特定の手法を性能に結びつけ、ブートストラップ分析は0.05の家族誤差率で一位チームが他の上位チームを統計的に有意に上回ることを示さなかったことを示唆し、リーダーボード順位のばらつきを浮き彫りにしている。
• 探索的分析でサブポピュレーション間の性能格差が観察され、データセットの多様性の重要性を強調している。