[論文レビュー] Continuous Dice Coefficient: a Method for Evaluating Probabilistic Segmentations

Reuben R. Shamir, Yuval Duchin+3 more|arXiv (Cornell University)|Jun 26, 2019

Neurological disorders and treatments被引用数 10

ひとこと要約

本論文は、確率的セグメンテーションマップ（0〜1の連続値をとる）を二値の真値と直接比較できるように拡張した、新しい評価指標である連続Dice係数（cDC）を紹介する。cDCは理論的に明確に定義されており、0〜1の範囲に収まり、重複が減少するにつれて単調に減少する。また、古典的Dice係数と比較して部分体積効果に対して優れたロバスト性を示し、構造のサイズに起因するバイアスも低減している。この有効性は、縫線核および視床のセグメンテーションタスクで検証された。

ABSTRACT

Objective: Overlapping measures are often utilized to quantify the similarity between two binary regions. However, modern segmentation algorithms output a probability or confidence map with continuous values in the zero-to-one interval. Moreover, these binary overlapping measures are biased to structure size. Addressing these challenges is the objective of this work. Methods: We extend the definition of the classical Dice coefficient (DC) overlap to facilitate the direct comparison of a ground truth binary image with a probabilistic map. We call the extended method continuous Dice coefficient (cDC) and show that 1) cDC is less or equal to 1 and cDC = 1 if-and-only-if the structures overlap is complete, and, 2) cDC is monotonically decreasing with the amount of overlap. We compare the classical DC and the cDC in a simulation of partial volume effects that incorporates segmentations of common targets for deep-brainstimulation. Lastly, we investigate the cDC for an automatic segmentation of the subthalamic-nucleus. Results: Partial volume effect simulation on thalamus (large structure) resulted with DC and cDC averages (SD) of 0.98 (0.006) and 0.99 (0.001), respectively. For subthalamic-nucleus (small structure) DC and cDC were 0.86 (0.025) and 0.97 (0.006), respectively. The DC and cDC for automatic STN segmentation were 0.66 and 0.80, respectively. Conclusion: The cDC is well defined for probabilistic segmentation, less biased to structure size and more robust to partial volume effects in comparison to DC. Significance: The proposed method facilitates a better evaluation of segmentation algorithms. As a better measurement tool, it opens the door for the development of better segmentation methods.

研究の動機と目的

• 確率的セグメンテーション出力に適用する際の古典的バイナリオーバーラップ測定法（例：Dice係数）の限界を解消すること。
• 構造のサイズ差に起因するセグメンテーション評価におけるバイアスを低減すること。
• 信頼性マップを二値の真値と直接評価できる連続的かつ数学的に整合性のある指標を開発すること。
• 特に部分体積効果の影響を受ける状況においても、医療画像におけるセグメンテーションアルゴリズムの評価の信頼性を向上させること。
• より正確な評価信号を提供することで、深層学習モデルのトレーニングおよび最適化を改善すること。

提案手法

• cDCは、古典的Dice係数を連続確率マップの積分に拡張することで導出される。
• 重なり度は、予測確率マップと真値の二値マップの積の積分を、予測マップと真値マップの和の積分で正規化することで定義される。
• この方法により、cDC ≤ 1 が保証され、予測マップが真値と完全に重なっている場合に限り cDC = 1 となる。
• 予測マップと真値マップの間の不一致やずれが大きくなるにつれて、cDCは単調に減少する。
• この定式化は、離散的Dice係数の連続極限から導出されており、主要な理論的性質を保持している。
• シミュレートされた部分体積効果と、縫線核および視床の実世界セグメンテーションを用いた検証が行われた。

実験結果

リサーチクエスチョン

• RQ1 確率的マップと二値真値を比較する際、有界かつ解釈可能である連続的拡張が、Dice係数に適用可能かどうか。
• RQ2 部分体積効果の下で、cDCは古典的Dice係数と比較してどのように性能を発揮するか。
• RQ3 cDCは、セグメンテーション評価における大きな解剖的構造へのバイアスをどの程度低減するか。
• RQ4 cDCは、神経画像における深層学習ベースのセグメンテーションモデルの評価に、よりロバストで信頼性の高い指標として機能するか。
• RQ5 cDCは、セグメンテーションネットワークのトレーニングのためのより優れた最適化目的関数として機能できるか。

主な発見

• 視床（大きな構造）における部分体積効果のシミュレーションでは、古典的Dice係数の平均は 0.98（SD 0.006）であったが、cDCは平均 0.99（SD 0.001）に達し、安定性が向上した。
• 縫線核（小さな構造）では、古典的Dice係数が 0.86（SD 0.025）であったのに対し、cDCは 0.97（SD 0.006）に達し、小さな構造へのバイアスが低減したことが示された。
• 縫線核の自動セグメンテーションにおいて、古典的Dice係数は 0.66 であったが、cDCは 0.80 に達しており、評価の性能差が顕著に現れた。
• cDCは、部分体積効果に対するロバスト性が高く、構造のサイズに敏感な評価の感度が低い点で、古典的Dice係数を常に上回った。
• cDCの理論的性質である有界性と単調性が保持されており、連続的評価指標としての整合性が確認された。
• 結果から、cDCは医療画像解析における確率的セグメンテーション出力の評価に、より信頼性が高く情報量が多い指標であると示唆された。