[논문 리뷰] Impact of individual rater style on deep learning uncertainty in medical imaging segmentation

Olivier Vincent, Charley Gros외 1명|arXiv (Cornell University)|2021. 05. 05.

Statistical Methods and Inference참고 문헌 25인용 수 5

한 줄 요약

이 연구는 의료 영상 분할에서 개별 평가자 스타일—특히 편향과 일관성—이 딥러닝 불확실성에 미치는 영향을 조사한다. 두 개의 공개 MRI 데이터셋(MS 병변 및 척수 회색질)을 사용하여 평가자 편향이 모델 불확실성과 강하게 상관됨을 보이며(R² = 0.60 및 0.93), 다중 센터 공동 평가 레이블링이 단일 센터 공동 평가보다 중심별 평가자 스타일을 반영하여 불확실성을 더 효과적으로 감소시킴을 밝혀낸다.

ABSTRACT

While multiple studies have explored the relation between inter-rater variability and deep learning model uncertainty in medical segmentation tasks, little is known about the impact of individual rater style. This study quantifies rater style in the form of bias and consistency and explores their impacts when used to train deep learning models. Two multi-rater public datasets were used, consisting of brain multiple sclerosis lesion and spinal cord grey matter segmentation. On both datasets, results show a correlation ($R^2 = 0.60$ and $0.93$) between rater bias and deep learning uncertainty. The impact of label fusion between raters' annotations on this relationship is also explored, and we show that multi-center consensuses are more effective than single-center consensuses to reduce uncertainty, since rater style is mostly center-specific.

연구 동기 및 목표

• 개별 평가자 스타일—특히 편향과 일관성—이 의료 영상 분할에서 딥러닝 모델의 불확실성에 미치는 영향을 조사하기 위해.
• 공동 분할 기준과의 병변 부피 차이 평균을 평가자 편향으로 정량화하고, 이 차이의 표준편차를 평가자 일관성으로 정의하기 위해.
• 레이블 융합 전략(단일 센터 대 다중 센터 공통 평가)이 평가자 스타일과 모델 불확실성 간 관계에 미치는 영향을 평가하기 위해.
• 평가자 스타일 지표가 모델 훈련 또는 불확실성 보고에 활용될 수 있는가를 판단하여, 분할 성능과 신뢰도 향상에 기여할 수 있는가를 확인하기 위해.

제안 방법

• 모든 영상에서 평가자 분할과 공통 분할 간 양성 복소수 차이의 평균 절대값을 평가자 편향으로 정의하였다.
• 평가자 편향을 중심으로 한 평가자 분할과 공통 분할 간 차이의 표준편차를 평가자 일관성으로 정의하였다.
• 공동 분할 기준을 확보하기 위해 평가자 간 다수결 투표를 사용하였다.
• 개별 평가자로부터의 레이블을 기반으로 딥러닝 모델을 훈련시키고, 예측 분산 또는 엔트로피를 통해 불확실성을 측정하였다.
• 병변 크기 민감도를 평가하기 위해 절대 편향(부피 기반)과 상대 편향(공동 분할 부피로 정규화)을 비교하였다.
• 단일 센터 공동 평가와 다중 센터 공동 평가를 각각 훈련 타겟으로 사용했을 때의 불확실성 비교를 통해 레이블 융합의 영향을 평가하였다.

실험 결과

연구 질문

• RQ1 개별 평가자 편향은 의료 영상 분할에서 딥러닝 모델 불확실성과 상관관계가 있는가?
• RQ2 평가자 일관성은 모델 불확실성에 영향을 미치며, 중요한 예측 변수인가?
• RQ3 레이블 융합 전략(단일 센터 대 다중 센터 공통 평가)의 선택이 편향-불확실성 관계의 강도에 영향을 미치는가?
• RQ4 공동 분할 부피로 정규화된 상대 편향이 절대 편향보다 평가자 스타일이 불확실성에 미치는 영향을 더 효과적으로 반영하는가?
• RQ5 평가자 스타일 지표를 활용하여 모델 불확실성 추정을 개선하거나 의료 분할 작업의 데이터 코딩을 안내할 수 있는가?

주요 결과

• 평가자 편향과 딥러닝 모델 불확실성 간 강한 상관관계가 발견되었으며, MS 병변 데이터셋에서는 R² = 0.60, 척수 회색질 데이터셋에서는 R² = 0.93이었다.
• 공동 분할 부피로 정규화한 상대 편향을 사용할 경우에도 편향과 불확실성 간 관계는 유의미하게 유지되었으며, MS의 경우 R² = 0.64, GM의 경우 R² = 0.93로 병변 크기 변화에 대한 강건성을 입증하였다.
• 다중 센터 공통 평가 레이블 융합이 단일 센터 공통 평가보다 모델 불확실성을 더 효과적으로 감소시켰으며, 이는 평가자 스타일 패턴이 주로 센터별로 특화되어 있음을 시사한다.
• MS 병변 데이터셋에서 상대 편향은 절대 편향보다 더 명확하게 이질적인 평가자를 드러내었으며, 이는 작은 병변 오류 감지에 상대 지표가 더 민감함을 시사한다.
• 척수 회색질 데이터셋은 전체적으로 낮은 편향과 절대 편향 및 상대 편향 간 차이가 적었으며, 이는 높은 평가자 간 일치도와 병변 크기 변동성의 감소 때문일 것이다.
• 결과적으로 평가자 스타일—특히 편향—은 모델 훈련이나 불확실성 추정에 사전 지식으로 활용될 수 있으며, 이는 분할 신뢰도 향상에 기여할 수 있다.