[論文レビュー] Hypernet-Ensemble Learning of Segmentation Probability for Medical Image Segmentation with Ambiguous Labels

Sung‐Min Hong, Anna K. Bonkhoff+7 more|arXiv (Cornell University)|Dec 13, 2021

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、1枚の画像あたり1つの曖昧なアノテーションのみを用いて、3D医療画像分類における確率推定を向上させるためのハイパーネットワークアンサンブル手法を提案する。異なるTversky損失を用いることで、過小分類および過小分類を促進させ、ネットワークとハイパーネットワークのアンサンブルを組み合わせることで、解剖学的曖昧性を反映しつつ滑らかで直感的な確率マップを生成する。同時に、最先端のバイナリ分類性能を維持する。

ABSTRACT

Despite the superior performance of Deep Learning (DL) on numerous segmentation tasks, the DL-based approaches are notoriously overconfident about their prediction with highly polarized label probability. This is often not desirable for many applications with the inherent label ambiguity even in human annotations. This challenge has been addressed by leveraging multiple annotations per image and the segmentation uncertainty. However, multiple per-image annotations are often not available in a real-world application and the uncertainty does not provide full control on segmentation results to users. In this paper, we propose novel methods to improve the segmentation probability estimation without sacrificing performance in a real-world scenario that we have only one ambiguous annotation per image. We marginalize the estimated segmentation probability maps of networks that are encouraged to under-/over-segment with the varying Tversky loss without penalizing balanced segmentation. Moreover, we propose a unified hypernetwork ensemble method to alleviate the computational burden of training multiple networks. Our approaches successfully estimated the segmentation probability maps that reflected the underlying structures and provided the intuitive control on segmentation for the challenging 3D medical image segmentation. Although the main focus of our proposed methods is not to improve the binary segmentation performance, our approaches marginally outperformed the state-of-the-arts. The codes are available at \url{https://github.com/sh4174/HypernetEnsemble}.

研究の動機と目的

• 医療画像におけるラベルの曇りが存在するにもかかわらず、深層学習で過信された極端な分類確率が生じる課題に対処すること。
• 複数の人のアノテーションに依存せずに、1枚の画像あたり1つの曖昧なアノテーションのみを用いて、分類確率マップの推定を改善すること。
• 調整可能な確率閾値を用いたユーザーによる直感的な分類結果の制御を提供すること。
• 一様なハイパーネットワークアーキテクチャを用いて、多様なTversky損失設定を学習することで、アンサンブル学習の計算コストを低減すること。
• 確率マップの品質を向上させつつ、バイナリ分類性能を維持またはわずかに向上させること。

提案手法

• 異なるハイパーパrameterを用いたvarying Tversky損失を用いて、過小分類、過小分類、またはバランスの取れた分類を促進する複数のネットワークを学習する。
• これらのネットワークの出力を、予測された分類マップをマージナライズすることで、より代表的な確率マップを推定する。
• 主分類ネットワークの重みを、異なるTversky損失設定に対応して学習するハイパーネットワークアーキテクチャを導入する。これにより、複数の完全なネットワークを学習する必要が減る。
• 異なるTversky損失設定間でパラメータを共有する統合されたハイパーネットワークアンサンブルを実装し、学習コストを顕著に低減する。
• 1つの入力条件（Tversky損失のハイパーパrameter）に基づいて、主ネットワークの重みを生成するようにハイパーネットワークを学習し、多様な出力を効率的に得られる推論を可能にする。
• 複数の病院から得た臨床的品質のDWIデータを用いて、3D急性ストローク病変分類に本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 1枚の画像あたり1つの曖昧なアノテーションのみを用いても、バイナリ分類性能を損なわずに分類確率マップを改善できるか？
• RQ2 異なるTversky損失を用いたネットワークアンサンブルは、ラベルの曇りが存在する状況で、分類確率マップの推定をどのように改善するか？
• RQ3 ハイパーネットワークベースのアンサンブルアプローチは、複数のネットワークを学習する計算コストを低減しつつ、確率マップ推定の品質を維持できるか？
• RQ4 提案手法は、確率閾値による制御を通じて、分類結果に対するユーザーの直感的な制御をどの程度可能にするか？
• RQ5 分類確率マップの滑らかさと不確実性の表現という観点から、提案手法は最先端の手法と比較してどの程度優れているか？

主な発見

• 異なるTversky損失を用いた提案されたResUNetアンサンブルは、最高の集約Diceスコア（0.82）とROC-AUC（0.884）を達成し、最先端の手法を上回った。
• ハイパーネットワークアンサンブルは、最高のバランス精度（0.891）と再現率（0.783）を記録し、ROC-AUCでも2番目に高い値（0.869）を達成した。
• 提案手法のDiceスコアは、確率閾値の変化に伴い滑らかに変化しており、過小分類および過小分類に対する直感的な制御が可能であることを示している。
• 提案手法のROC曲線は、極端に分類された確率推定を示さず、FPR-TPRの点がより密集しており、より良好にキャリブレーションされた確率マップを反映している。
• ハイパーネットワークアプローチにより、学習時間を13 GPU時間まで短縮し、完全なアンサンブル手法と比較して顕著に低減したが、競争力のある性能を維持した。
• 推定された確率マップは、曇りのある領域（例：部分体積効果、病変の拡散）を的確に反映しており、不確実な領域には0.5に近い確率値を割り当てており、視覚的比較でも明確に確認された。