[論文レビュー] QU-BraTS: MICCAI BraTS 2020 Challenge on Quantifying Uncertainty in Brain Tumor Segmentation - Analysis of Ranking Scores and Benchmarking Results

Raghav Mehta, Angelos Filos+90 more|arXiv (Cornell University)|Dec 19, 2021

Radiomics and Machine Learning in Medical Imaging被引用数 7

ひとこと要約

本論文は、MICCAI BraTS 2020 チャレンジにおける脳腫瘍セグメンテーションのための新しい不確実性評価フレームワークを提案する。不確実性を各腫瘍コンパートメントごとに二値分類問題として扱い、過信した予測と偽陰性をペナルティ化することで、モデルの信頼性を向上させるスコアを提案する。この手法により、特に腫瘍境界付近の不確実な領域を特定でき、多様な研究チームにおいて優れた性能を示し、医療画像セグメンテーションにおける不確実性評価のベンチマークを確立する。

ABSTRACT

Deep learning (DL) models have provided state-of-the-art performance in various medical imaging benchmarking challenges, including the Brain Tumor Segmentation (BraTS) challenges. However, the task of focal pathology multi-compartment segmentation (e.g., tumor and lesion sub-regions) is particularly challenging, and potential errors hinder translating DL models into clinical workflows. Quantifying the reliability of DL model predictions in the form of uncertainties could enable clinical review of the most uncertain regions, thereby building trust and paving the way toward clinical translation. Several uncertainty estimation methods have recently been introduced for DL medical image segmentation tasks. Developing scores to evaluate and compare the performance of uncertainty measures will assist the end-user in making more informed decisions. In this study, we explore and evaluate a score developed during the BraTS 2019 and BraTS 2020 task on uncertainty quantification (QU-BraTS) and designed to assess and rank uncertainty estimates for brain tumor multi-compartment segmentation. This score (1) rewards uncertainty estimates that produce high confidence in correct assertions and those that assign low confidence levels at incorrect assertions, and (2) penalizes uncertainty measures that lead to a higher percentage of under-confident correct assertions. We further benchmark the segmentation uncertainties generated by 14 independent participating teams of QU-BraTS 2020, all of which also participated in the main BraTS segmentation task. Overall, our findings confirm the importance and complementary value that uncertainty estimates provide to segmentation algorithms, highlighting the need for uncertainty quantification in medical image analyses. Finally, in favor of transparency and reproducibility, our evaluation code is made publicly available at: https://github.com/RagMeh11/QU-BraTS.

研究の動機と目的

• ディープラーニングベースの脳腫瘍セグメンテーションモデルにおける信頼性の高い不確実性評価の必要性に対処すること。
• 過信した陽性予測と偽陰性予測の両方をペナルティ化することで、不確実性推定を公平に評価するフレームワークを開発すること。
• マルチコンパートメント腫瘍セグメンテーションタスクにおける不確実性に配慮したセグメンテーションモデルのベンチマークを提供すること。
• 現在の不確実性評価手法の限界、特に空間相関と正解に近い不確実性プロキシに関する考察。
• 将来的な不確実性に配慮したモデル開発を支援するため、チームや手法間での公平な比較と検証を可能にする

提案手法

• 各腫瘍コンパートメント（強化、壊死、浮腫）を個別に二値セグメンテーション／不確実性問題として扱う、新しい評価スコアを提案。
• 不確実性マップの評価に重み付きF1スコアを適用し、不確実性予測における偽陽性と偽陰性をペナルティ化。
• チームが不確実なボクセルをマークできるフィルタリング機構を導入し、最終評価における偽陰性の影響を低減。
• 不確実性をコンパートメントごとに評価するマルチクラスセグメンテーションフレームワークを採用し、単一クラスとマルチクラスの不確実性評価の違いを認識。
• 空間的相関を仮定しない、ボクセル単位の不確実性マップに依存するが、将来的な空間構造を考慮する手法の必要性を認識。
• 相互評価者および同一評価者の変動を、正解に近い不確実性のプロキシとして扱うが、機関バイアスや組織境界付近での曖昧なラベル付けによる制限を指摘

実験結果

リサーチクエスチョン

• RQ1 モデルが正しい予測でも間違った予測でも過信している場合、脳腫瘍セグメンテーションにおける不確実性をどのように公平に評価できるか？
• RQ2 不確実性予測における偽陰性をペナルティ化することで、セグメンテーションモデルの信頼性はどの程度向上するか？
• RQ3 統一された評価フレームワークは、複数の腫瘍コンパートメントにわたる不確実性を効果的に評価できるか、マルチクラスセグメンテーションの複雑さを保ったままか？
• RQ4 医療画像セグメンテーションにおいて、相互評価者変動を正解に近い不確実性のプロキシとして使用する際の限界は何か？
• RQ5 将来的な評価フレームワークは、空間的相関をどのように考慮できるか。特に、空間的に構造化された不確実性推定を生成する新技術に対応するか？

主な発見

• 提案された評価フレームワークは、信頼性の高い不確実性推定を生成できるチームの特定と順位付けに成功し、特に腫瘍境界付近でのロバストネス向上を示したトップモデルが顕著だった。
• 特に曖昧性の高い領域で不確実なボクセルをマークしたチームは、全体的なスコアが向上し、不確実性に配慮した予測の価値を示した。
• フレームワークは多くのモデルが過信していることを明らかにした。特に強化腫瘍および壊死巣領域では、不確実性が低く見積もられていた。
• この評価フレームワークは、後続の研究（欠落シーケンス回復、頸動脈セグメンテーションなど）でも再利用され、汎用性と頑健性を示した。
• 相互評価者変動は、特に腫瘍境界のような曖昧な領域では正解に近い不確実性のプロキシとして限界があることが判明した。
• 本研究は、現在の手法がボクセルを独立して扱う一方で、空間的に相関のある不確実性推定技術が登場していることを踏まえ、空間的相関を考慮する新しい評価指標の必要性を強調している。