[論文レビュー] QUBIQ: Uncertainty Quantification for Biomedical Image Segmentation Challenge

Hongwei Bran, Fernando Navarro+78 more|arXiv (Cornell University)|Mar 19, 2024

Radiomics and Machine Learning in Medical Imaging被引用数 5

ひとこと要約

QUBIQ は、生物医学画像セグメンテーションにおける不確実性定量化のベンチマークを確立し、2D/3Dタスクを跨るマルチレータ・マルチモダリティデータセットを用い、アンサンブル手法が有効である一方、効率的な3D不確実性手法の必要性を強調している。

ABSTRACT

Uncertainty in medical image segmentation tasks, especially inter-rater variability, arising from differences in interpretations and annotations by various experts, presents a significant challenge in achieving consistent and reliable image segmentation. This variability not only reflects the inherent complexity and subjective nature of medical image interpretation but also directly impacts the development and evaluation of automated segmentation algorithms. Accurately modeling and quantifying this variability is essential for enhancing the robustness and clinical applicability of these algorithms. We report the set-up and summarize the benchmark results of the Quantification of Uncertainties in Biomedical Image Quantification Challenge (QUBIQ), which was organized in conjunction with International Conferences on Medical Image Computing and Computer-Assisted Intervention (MICCAI) 2020 and 2021. The challenge focuses on the uncertainty quantification of medical image segmentation which considers the omnipresence of inter-rater variability in imaging datasets. The large collection of images with multi-rater annotations features various modalities such as MRI and CT; various organs such as the brain, prostate, kidney, and pancreas; and different image dimensions 2D-vs-3D. A total of 24 teams submitted different solutions to the problem, combining various baseline models, Bayesian neural networks, and ensemble model techniques. The obtained results indicate the importance of the ensemble models, as well as the need for further research to develop efficient 3D methods for uncertainty quantification methods in 3D segmentation tasks.

研究の動機と目的

• 医用画像セグメンテーションにおける人間の専門家間のばらつきをモデル化する必要性と、その下流タスクへの影響を動機づける。
• MRI/CT を横断する 2D および 3D タスクを網羅する、公開可能なマルチレータ・マルチセンター データセットを作成する。
• セグメンテーションの不確実性定量化手法を人間のアノテータ間変動と比較評価・順位付けする。
• ベンチマーク フレームワークと、堅牢で臨床適用可能なセグメンテーションモデルの今後の開発を導く洞察を提供する。

提案手法

• 2D および 3D セグメンテーションタスクを持つマルチレータ・マルチモダリティデータセットを導入する。
• 複数の信頼度閾値で不確実性を評価する確率的予測と Q-Dice を含む評価指標フレームワークを定義する。
• ベースラインモデル、ベイズ的アプローチ、アンサンブルを比較する MICCAI ベースのチャレンジ（QUBIQ 2020 および 2021）を組織する。
• 複数の確率レベルでの Dice ベースの閾値を用いて、平均的な専門家の描写との一致を定量化する。
• タスクとモダリティ全体でのパフォーマンスに基づいて、参加者の手法を集約・順位付けする。

実験結果

リサーチクエスチョン

• RQ1 アルゴリズム的不確実性推定は、医用セグメンテーションにおいて人間の専門家間で見られるばらつきを再現できるか。
• RQ2 どのモデリング手法（アンサンブル、確率的ネットワークなど）が、2D/3Dタスクや様々な臓器に対する人間レータ間の不確実性を最も適切に捉えられるか。
• RQ3 3D 不確実性定量化は 2D に遅れがあるのか、アンサンブルや専門的アーキテクチャがそのギャップを埋めることができるか。
• RQ4 医用画像セグメンテーションの不確実性定量化のベンチマークに最も適したデータセットと評価プロトコルは何か。

主な発見

• アンサンブルベースのアプローチは、セグメンテーションにおける不確実性定量化にとって重要である。
• 3D セグメンテーションタスクにおいて、より効率的な 3D 不確実性定量化手法が必要である。
• MRI および CT モダリティにまたがる公開可能なマルチレータ・マルチセンター データセットが導入され、ベンチマーキングのために提供された。
• 2 つのチャレンジ反復を通じて、2020 から 2021 にかけて手法は一般的に改善され、競争力が高まった。
• ベンチマークは、複数のアノテータに対する平均化/アンサンブリング予測を用いて専門家のばらつきに近づける役割を強調している。