[논문 리뷰] Improving the repeatability of deep learning models with Monte Carlo dropout

Andréanne Lemay, Katharina Hoebel외 8명|arXiv (Cornell University)|2022. 02. 15.

Artificial Intelligence in Healthcare and Education인용 수 5

한 줄 요약

이 논문은 의료 영상 분류에서 딥러닝 모델의 반복성 향상을 위해 테스트 시 몬테카를로(Мonte Carlo, MC) 드롭아웃을 사용하는 것을 제안한다. 동일한 환자에서 반복 촬영된 영상 간 예측 변동성을 줄이기 위해 드롭아웃을 활성화한 채로 다수의 순방향 전파를 수행함으로써, 95% 한계 합의 범위에서 반복성은 평균 16%p 향상되었고, 校정성(calibration) 향상 효과도 있었으며, 특히 이진, 다중 클래스, 순서형 작업에서 정확도 손실가장 최소화되면서 효과적이다.

ABSTRACT

The integration of artificial intelligence into clinical workflows requires reliable and robust models. Repeatability is a key attribute of model robustness. Repeatable models output predictions with low variation during independent tests carried out under similar conditions. During model development and evaluation, much attention is given to classification performance while model repeatability is rarely assessed, leading to the development of models that are unusable in clinical practice. In this work, we evaluate the repeatability of four model types (binary classification, multi-class classification, ordinal classification, and regression) on images that were acquired from the same patient during the same visit. We study the performance of binary, multi-class, ordinal, and regression models on four medical image classification tasks from public and private datasets: knee osteoarthritis, cervical cancer screening, breast density estimation, and retinopathy of prematurity. Repeatability is measured and compared on ResNet and DenseNet architectures. Moreover, we assess the impact of sampling Monte Carlo dropout predictions at test time on classification performance and repeatability. Leveraging Monte Carlo predictions significantly increased repeatability for all tasks on the binary, multi-class, and ordinal models leading to an average reduction of the 95\% limits of agreement by 16% points and of the disagreement rate by 7% points. The classification accuracy improved in most settings along with the repeatability. Our results suggest that beyond about 20 Monte Carlo iterations, there is no further gain in repeatability. In addition to the higher test-retest agreement, Monte Carlo predictions were better calibrated which leads to output probabilities reflecting more accurately the true likelihood of being correctly classified.

연구 동기 및 목표

• 의료 임상에서 신뢰할 수 있는 의사결정 지원을 위해 필수적이지만, 아직 충분히 고려받지 못하고 있는 모델의 반복성 문제를 해결하고자 한다.
• 테스트 시 몬테카를로 드롭아웃이 다양한 의료 영상 작업과 모델 유형에서 반복성을 향상시키는지 평가하고자 한다.
• ResNet과 DenseNet 아키텍처에서 MC 드롭아웃이 분류 성능, 반복성, 校정성에 미치는 영향을 비교하고자 한다.
• 반복성을 극대화하면서 수익 감소 현상이 발생하지 않는 최적의 MC 샘플링 반복 수를 규명하고자 한다.

제안 방법

• 동일한 입력 영상에 대해 드롭아웃 레이어를 활성화한 채로 다수의 순방향 전파를 수행함으로써 추론 시 몬테카를로 드롭아웃을 적용한다.
• MC 예측의 평균과 분산을 이용해 불확실성 추정 및 예측 안정성 향상.
• 동일 환자로부터의 쌍영상을 사용해 Bland-Altman 플롯을 통해 95% 한계 합의 범위(LoA)와 분류 불일치율을 측정함으로써 반복성 평가.
• 예측 확률이 실제 분류 가능성과 얼마나 잘 일치하는지 평가하기 위해 Brier 점수를 사용해 모델의 校정성 평가.
• 무릎 골관절염,ervical cancer 스크리닝, 유방 밀도, 조기 퇴행성 망막병변 등 4개의 의료 영상 작업에서 이진, 다중 클래스, 순서형, 회귀 유형의 4종류 모델 평가.
• 비모수적 LoA와 부트스트래핑 t-검정을 사용해 통계적 유의성 평가. 모델 성능은 1~50회의 MC 반복 수 간 비교.

실험 결과

연구 질문

• RQ1 테스트 시 몬테카를로 드롭아웃이 다양한 의료 영상 분류 작업에서 딥러닝 모델의 반복성을 향상시키는가?
• RQ2 MC 드롭아웃은 반복성 외에도 분류 정확도와 校정성에 어떤 영향을 미치는가?
• RQ3 반복성을 극대화하면서 수익 감소 현상이 발생하지 않는 최적의 MC 샘플링 반복 수는 얼마인가?
• RQ4 다른 모델 아키텍처(ResNet, DenseNet)와 모델 유형(이진, 다중 클래스, 순서형, 회귀)은 MC 드롭아웃에 어떻게 반응하는가?
• RQ5 동일한 환자에서 유사 조건으로 영상을 재촬영했을 때, MC 드롭아웃은 예측 변동성을 얼마나 줄이는가?

주요 결과

• 몬테카를로 드롭아웃은 모든 작업에서 반복성을 유의미하게 향상시켰으며, 95% 한계 합의 범위가 평균 16%p 감소.
• MC 드롭아웃을 적용한 경우 분류 불일치율이 7%p 감소하여 반복 영상 간 예측의 일관성이 향상됨.
• 20회 이상의 MC 반복 수에서는 더 이상 반복성 향상가 관찰되지 않아 이 이상의 반복은 수익 감소 현상이 발생함.
• MC 드롭아웃은 모델의 校정성도 향상시켜 예측 확률이 실제 정확한 분류 가능성과 더 잘 일치함.
• 이진, 다중 클래스, 순서형 모델은 반복성과 정확도 양면에서 일관된 향상 효과를 보였고, 회귀 모델은 일관된 향상 없음.
• 이 방법은 다양한 아키텍처(ResNet18, ResNet50, DenseNet121)에서 효과적이며, 모든 모델 유형에 쉽게 적용 가능함.