[論文レビュー] Impact of individual rater style on deep learning uncertainty in medical imaging segmentation

Olivier Vincent, Charley Gros+1 more|arXiv (Cornell University)|May 5, 2021

Statistical Methods and Inference参考文献 25被引用数 5

ひとこと要約

本研究は、個々のレーティングスタイル—特にバイアスと一貫性—が、医療画像分類におけるディープラーニングの不確実性に与える影響を調査する。2つの公的MRIデータセット（MS病変および脊髄灰色核）を用いて、レーティングスライドバイアスがモデルの不確実性と強く相関している（R² = 0.60および0.93）ことを示し、センター固有のレーティングスタイルを考慮したマルチセンターのコンセンサスラベリングが、単一センターのコンセンサスよりも不確実性をより効果的に低減することを明らかにした。

ABSTRACT

While multiple studies have explored the relation between inter-rater variability and deep learning model uncertainty in medical segmentation tasks, little is known about the impact of individual rater style. This study quantifies rater style in the form of bias and consistency and explores their impacts when used to train deep learning models. Two multi-rater public datasets were used, consisting of brain multiple sclerosis lesion and spinal cord grey matter segmentation. On both datasets, results show a correlation ($R^2 = 0.60$ and $0.93$) between rater bias and deep learning uncertainty. The impact of label fusion between raters' annotations on this relationship is also explored, and we show that multi-center consensuses are more effective than single-center consensuses to reduce uncertainty, since rater style is mostly center-specific.

研究の動機と目的

• 個々のレーティングスライドスタイル—特にバイアスと一貫性—が、医療画像分類におけるディープラーニングモデルの不確実性に与える影響を調査すること。
• レーティングバイアスを、コンセンサスセグメンテーションからの病変ボリュームの平均偏差として定量化し、レーティング一貫性を、画像間でのこの偏差の標準偏差として定量化すること。
• ラベル統合戦略（単一センター対マルチセンターのコンセンサス）が、レーティングスタイルとモデル不確実性の関係に与える影響を評価すること。
• レーティングスタイルの指標が、モデルのトレーニングや不確実性レポートの改善に活用可能かどうかを特定し、分類性能と信頼性の向上に寄与する可能性を検討すること。

提案手法

• レーティングバイアスを、全画像にわたる各レーティングスライドのセグメンテーションとコンセンサスセグメンテーションとの間の正のボクセル数の平均絶対差として定義した。
• レーティング一貫性を、レーティングスライドのバイアスを中心に、そのレーティングスライドのセグメンテーションとコンセンサスとの差の標準偏差として定義した。
• コンセンサスセグメンテーションを確立するため、複数のレーティングスライドの多数決を用いた。
• 個々のレーティングスライドからのアノテーションを用いてディープラーニングモデルをトレーニングし、予測の分散またはエントロピーを用いて不確実性を測定した。
• 病変サイズへの感受性を評価するため、絶対バイアス（ボリュームベース）と相対バイアス（コンセンサスボリュームで正規化）を比較した。
• ラベル統合の影響を評価するため、トレーニングターゲットとして単一センターとマルチセンターのコンセンサスを使用した際の不確実性を比較した。

実験結果

リサーチクエスチョン

• RQ1 個々のレーティングスライドバイアスは、医療画像分類におけるディープラーニングモデルの不確実性と相関するか？
• RQ2 レーティング一貫性はモデルの不確実性にどのように影響するか。また、それが有意な予測要因であるか？
• RQ3 ラベル統合戦略の選択（単一センター対マルチセンターのコンセンサス）は、バイアスと不確実性の関係の強さに影響を与えるか？
• RQ4 コンセンサスボリュームで正規化された相対バイアスは、絶対バイアスよりも、レーティングスライドスタイルが不確実性に与える影響をより効果的に捉えられるか？
• RQ5 レーティングスライドスタイルの指標は、モデルの不確実性推定の改善や、医療分類タスクにおけるデータキュレーションの指針として活用可能か？

主な発見

• レーティングスライドバイアスとディープラーニングモデルの不確実性の間に強い相関が確認された。MS病変データセットではR² = 0.60、脊髄灰色核データセットではR² = 0.93であった。
• コンセンサスボリュームで正規化した相対バイアスを用いた場合でも、バイアスと不確実性の関係は有意に保たれ、MSではR² = 0.64、GMではR² = 0.93であった。これは、病変サイズの変動に対して頑健であることを示している。
• マルチセンターのコンセンサスラベル統合は、単一センターのコンセンサスよりも、モデルの不確実性をより効果的に低減した。これは、レーティングスライドのパターンが主にセンター固有であったためである。
• MS病変データセットでは、相対バイアスが絶対バイアスよりも、外れ値のレーティングスライドをより明確に特定できた。これは、相対指標が小病変の誤差に対して感受性が高いためである。
• 脊髄灰色核データセットでは、全体的なバイアスが低く、絶対バイアスと相対バイアスの差が小さかった。これは、レーティングスライド間の整合性が高く、病変サイズのばらつきが少なかったためと考えられる。
• 結果から、特にバイアスに注目することで、モデルのトレーニングや不確実性推定を精緻化するための事前知識として、レーティングスライドスタイルを活用できる可能性がある。これは、分類の信頼性向上に寄与する可能性がある。