[논문 리뷰] The Impact of an Inter-rater Bias on Neural Network Training

Or Shwartzman, Harel Gazit외 2명|arXiv (Cornell University)|2019. 06. 12.

AI in cancer detection참고 문헌 11인용 수 4

한 줄 요약

이 논문은 의료 영상 분할을 위한 딥 뉴럴 네트워크(DNN) 학습에 영향을 미치는 상호 평가자 편향—평가자 간 수동 분할 주석의 차이—이 어떻게 작용하는지 조사한다. ISBI 2015 MS 챌린지 데이터셋을 사용하여, 한 평가자로부터의 주석으로 학습된 DNN는 다른 평가자로부터의 테스트 데이터에 대해 낮은 Dice 점수와 편향된 병변 부피 추정치를 보이며, 이는 모델 성능이 랜덤 변동성 외에도 평가자 특화된 편향에 민감하게 영향을 받음을 시사한다.

ABSTRACT

The problem of inter-rater variability is often discussed in the context of manual labeling of medical images. It is assumed to be bypassed by automatic model-based approaches for image segmentation which are considered `objective', providing single, deterministic solutions. However, the emergence of data-driven approaches such as Deep Neural Networks (DNNs) and their application to supervised semantic segmentation - brought this issue of raters' disagreement back to the front-stage. In this paper, we highlight the issue of inter-rater bias as opposed to random inter-observer variability and demonstrate its influence on DNN training, leading to different segmentation results for the same input images. In fact, lower Dice scores are calculated if training and test segmentations are of different raters. Moreover, we demonstrate that inter-rater bias in the training examples is amplified when considering the segmentation predictions for the test data. We support our findings by showing that a classifier-DNN trained to distinguish between raters based on their manual annotations performs better when the automatic segmentation predictions rather than the raters' annotations were tested. For this study, we used the ISBI 2015 Multiple Sclerosis (MS) challenge dataset, which includes annotations by two raters with different levels of expertise. The results obtained allow us to underline a worrisome clinical implication of a DNN bias induced by an inter-rater bias during training. Specially, we show that the differences in MS-lesion load estimates increase when the volume calculations are done based on the DNNs' segmentation predictions instead of the manual annotations used for training.

연구 동기 및 목표

• 상호 평가자 편향(랜덤 변동성과는 다를 바 있음)이 딥 러닝 기반 의료 영상 분할에 미치는 영향을 조사하는 것.
• 학습 및 추론 중 평가자 주석의 차이가 DNN 성능에 영향을 미치는지, 특히 Dice 점수와 병변 부피 추정치 측면에서 평가하는 것.
• DNN가 훈련 데이터에 존재하는 평가자 특화된 편향을 학습하고 증폭시키는지 평가하는 것.
• 이러한 편향의 임상적 영향, 특히 다발성 경화증 병변의 정량적 MRI 분석에서의 영향을 탐색하는 것.

제안 방법

• 다른 전문 수준을 가진 두 평가자 주석을 포함한 ISBI 2015 다발성 경화증 챌린지 데이터셋을 활용.
• 한 평가자의 주석으로 세그멘테이션 DNN를 학습하고, 다른 평가자의 테스트 데이터로 평가하여 평가자 편향의 영향을 고립시키는 것.
• 다른 평가자로부터의 진단과 예측 간 분할 겹침 정도를 정량화하기 위해 Dice 계수를 성능 측정 지표로 사용.
• 수동 주석 기반으로 평가자를 구분하는 별도의 분류기 DNN를 학습하고, DNN 예측에 대해 성능을 테스트하여 편향 전파 여부를 평가.
• DNN 예측에서 유도된 병변 부피 추정치와 수동 주석을 비교하여 정량적 지표에서의 편향 증폭 정도를 평가.

실험 결과

연구 질문

• RQ1 수동 주석의 상호 평가자 편향은 의료 영상의 세그멘테이션 DNN 성능에 어떻게 영향을 미치는가?
• RQ2 학습 주석과 테스트 주석이 다른 평가자로부터 올 경우 Dice 점수가 감소하는가?
• RQ3 DNN가 훈련 데이터에서 유래한 평가자 특화된 편향을 얼마나 학습하고 전파하는가?
• RQ4 평가자를 식별하도록 훈련된 분류기가 DNN 예측에서 원본 수동 주석보다 더 높은 정확도를 달성할 수 있는가, 이는 편향 증폭을 시사하는가?
• RQ5 DNN 예측을 사용할 경우 수동 주석 대비 병변 부피 추정치에 상호 평가자 편향이 어떻게 영향을 미치는가?

주요 결과

• 학습 주석과 테스트 주석이 다른 평가자로부터 올 경우 낮은 Dice 점수가 관찰되어 상호 평가자 편향으로 인한 성능 저하가 발생함을 시사한다.
• DNN 예측을 사용할 경우 수동 주석보다 평가자를 식별하는 데 더 높은 정확도를 달성한 DNN 분류기 결과는 모델이 평가자 특화된 편향을 증폭시킴을 시사한다.
• 훈련 데이터의 상호 평가자 편향은 DNN의 분할 예측에서 증폭되어 평가자 간 병변 부피 추정치의 차이가 커짐을 보였다.
• DNN 예측에서 도출된 정량적 병변 부피 추정치는 수동 주석보다 평가자 간 변동성이 더 크게 나타나 임상적으로 우려되는 편향 증폭을 시사한다.
• 결과적으로 DNN가 결정론적 모델로 학습된다고 해도 평가자 편향에 영향을 받지 않으며, 평가자 간 차이를 전파하고 증폭시킬 수 있음을 입증한다.