[論文レビュー] The Worrisome Impact of an Inter-rater Bias on Neural Network Training

Or Shwartzman, Harel Gazit+2 more|arXiv (Cornell University)|Jun 12, 2019

Neural Networks and Applications参考文献 11被引用数 9

ひとこと要約

本研究では、手動による医療画像アノテーションにおける評価者間バイアスが、深層ニューラルネットワーク（DNN）の学習を顕著に歪め、同じアーキテクチャであっても一貫性のないセグメンテーション出力を引き起こすことを示している。特に経験の浅い評価者からのアノテーションで学習したDNNは、異なる評価者からのアノテーションでテストした場合に、Diceスコアが著しく低下するなど、体系的な差異を示す。また、分類器DNNはDNNの予測を区別する能力が元のアノテーションを区別する能力を上回っており、学習された表現におけるバイアスの拡大を示している。

ABSTRACT

The problem of inter-rater variability is often discussed in the context of manual labeling of medical images. The emergence of data-driven approaches such as Deep Neural Networks (DNNs) brought this issue of raters' disagreement to the front-stage. In this paper, we highlight the issue of inter-rater bias as opposed to random inter-observer variability and demonstrate its influence on DNN training, leading to different segmentation results for the same input images. In fact, lower overlap scores are obtained between the outputs of a DNN trained on annotations of one rater and tested on another. Moreover, we demonstrate that inter-rater bias in the training examples is amplified and becomes more consistent, considering the segmentation predictions of the DNNs' test data. We support our findings by showing that a classifier-DNN trained to distinguish between raters based on their manual annotations performs better when the automatic segmentation predictions rather than the actual raters' annotations were tested. For this study, we used two different datasets: the ISBI 2015 Multiple Sclerosis (MS) challenge dataset, including MRI scans each with annotations provided by two raters with different levels of expertise; and Intracerebral Hemorrhage (ICH) CT scans with manual and semi-manual segmentations. The results obtained allow us to underline a worrisome clinical implication of a DNN bias induced by an inter-rater bias during training. Specifically, we present a consistent underestimate of MS-lesion loads when calculated from segmentation predictions of a DNN trained on input provided by the less experienced rater. In the same manner, the differences in ICH volumes calculated based on outputs of identical DNNs, each trained on annotations from a different source are more consistent and larger than the differences in volumes between the manual and semi-manual annotations used for training.

研究の動機と目的

• 評価者間バイアス（ランダムなばらつきとは異なる）が、深層学習に基づく医療画像セグメンテーションに与える影響を調査すること。
• 評価者の熟練度やアノテーションスタイルの違いが、DNNの学習およびテスト性能に与える影響を定量化すること。
• 同じアーキテクチャであっても、異なる評価者からのアノテーションで学習したDNNが、体系的に異なるセグメンテーション出力を生じることを示すこと。
• 学習段階で導入されたバイアスが、DNNの予測において拡大され、元のアノテーションよりも予測を分類しやすくなるかどうかを評価すること。
• 複数の評価者からのアノテーションを組み合わせた混合学習戦略を提案し、モデルのロバスト性を向上させること。

提案手法

• MS-lesion MRIおよびICH-CTデータセットの両方について、2名の異なる評価者によるセグメンテーションアノテーションを用いて、U-NetベースのDNNを学習した。
• クロス評価を用いてモデル性能を評価した：1人の評価者のアノテーションで学習し、他方の評価者のアノテーションでテストし、Diceスコアを測定した。
• 別個の分類器DNNを訓練し、元の手動アノテーションとDNN予測出力を入力として用いて、異なる評価者からのセグメンテーションを区別する能力を評価した。
• 元のアノテーションとDNN予測の両方の分類精度を比較し、学習された表現におけるバイアスの拡大を評価した。
• 両方の評価者からのセグメンテーションの重み付き組み合わせを用いた混合学習戦略を提案・評価した。専門的評価者と経験の浅い評価者のアノテーションの比率を変化させた。
• 標準的な指標（Diceスコア、ヒットレート）を用いて、セグメンテーションの一貫性および分類器性能の差を定量化した。

実験結果

リサーチクエスチョン

• RQ1 手動アノテーションにおける評価者間バイアスは、そのアノテーションで学習したDNNのセグメンテーション性能にどのように影響するか？
• RQ2 異なる評価者からのアノテーションで学習したDNNが、同じ入力画像に対して顕著に異なるセグメンテーション出力を生じるか？
• RQ3 評価者間バイアスは、DNNの予測において拡大され、元のアノテーションよりも予測を分類しやすくなるか？
• RQ4 分類器DNNは、DNN予測を用いる場合、元のアノテーションを用いる場合よりも、異なる評価者からのセグメンテーションをより正確に区別できるか？
• RQ5 訓練データに少量の専門的アノテーションを組み込むことで、DNNのセグメンテーション出力におけるバイアスが軽減されるか？

主な発見

• 異なる評価者からのアノテーションで学習したDNN同士のクロス評価では、顕著に低いDiceスコアが得られた：MS-lesionでは0.77±0.04、ICHでは0.79±0.07であり、テストデータが異なる評価者からのものである場合に性能が低下していることを示している。
• 分類器DNNは、2名の異なる評価者からのDNN予測を区別する際のヒットレートが0.93±0.03に達した一方、元の手動アノテーションを区別する際のヒットレートは0.90±0.05であった。これは、学習された表現においてバイアスが拡大していることを示している。
• ICHデータセットでは、DNN予測のヒットレートが0.95±0.04、元のアノテーションでは0.917±0.06であった。これは、モデル出力におけるバイアスの一貫性の向上を確認している。
• 本研究では、経験の浅い評価者からのデータで学習したDNNが、MS-lesion負荷を一貫して低く推定していることが判明した。これは、疾患負荷推定において臨床的に重要なバイアスを示している。
• 同じDNNアーキテクチャと学習環境であっても、異なる評価者からのアノテーションで学習したモデルは、異なる結果を生じる。これは、モデルの挙動が訓練データ内の評価者固有のバイアスに左右されることを示している。
• 訓練データに少量の専門的アノテーション（例：5/16 または 6/16）を組み込むことで、一貫性が向上しバイアスが軽減された。これは実用的なバイアス低減戦略であると考えられる。