[논문 리뷰] Leveraging Uncertainty Estimates for Predicting Segmentation Quality

Terrance DeVries, Graham W. Taylor|ArXiv.org|2018. 07. 02.

Explainable Artificial Intelligence (XAI)참고 문헌 26인용 수 58

한 줄 요약

저자는 픽셀 수준의 불확실성 맵을 사용하여 이미지 수준 세분화 품질을 예측하는 2단계 프레임워크를 제안하고, 피부 병변 세분화에 대해 ISIC 2017 데이터셋으로 여러 불확실성 추정 방법을 비교합니다.

ABSTRACT

The use of deep learning for medical imaging has seen tremendous growth in the research community. One reason for the slow uptake of these systems in the clinical setting is that they are complex, opaque and tend to fail silently. Outside of the medical imaging domain, the machine learning community has recently proposed several techniques for quantifying model uncertainty (i.e.~a model knowing when it has failed). This is important in practical settings, as we can refer such cases to manual inspection or correction by humans. In this paper, we aim to bring these recent results on estimating uncertainty to bear on two important outputs in deep learning-based segmentation. The first is producing spatial uncertainty maps, from which a clinician can observe where and why a system thinks it is failing. The second is quantifying an image-level prediction of failure, which is useful for isolating specific cases and removing them from automated pipelines. We also show that reasoning about spatial uncertainty, the first output, is a useful intermediate representation for generating segmentation quality predictions, the second output. We propose a two-stage architecture for producing these measures of uncertainty, which can accommodate any deep learning-based medical segmentation pipeline.

연구 동기 및 목표

• 의료 영상 세분화에서 불확실성 추정의 사용을 인간-개입 의사 결정 지원으로 동기부여한다.
• 공간적 불확실성 맵과 이미지 수준의 세분화 품질 예측을 함께 생성하는 모듈식 2단계 아키텍처를 개발한다.
• 다양한 불확실성 추정 방법의 효과를 평가하여 세분화 품질 예측에 미치는 영향을 판단한다.
• 명시적 공간 불확실성이 베이스라인 대비 세분화 품질 예측을 개선하는지 확인한다.

제안 방법

• 의미론적 세분화 모델 f를 학습시켜 픽셀 단위 로짓과 불확실성 맵 z를 출력하게 한다.
• f로부터 픽셀당 예측 세분화 yhat를 계산한다.
• (x, yhat, z)로부터 세분화 품질 지표 v(예: Jaccard 지수)를 예측하는 두 번째 네트워크 g를 학습한다.
• 다음 네 가지 방법 중 하나를 이용해 불확실성 맵을 추출한다: Maximum Softmax Probability, MC-Dropout, Heteroscedastic Classifier Neural Network (HCNN), 또는 Learned Confidence Estimates (LCE).
• RMSE, 탐지 오류, AUROC 및 AUPR를 사용하여 불확실성 기반 품질 예측을 베이스라인과 비교 평가한다.

실험 결과

연구 질문

• RQ1 픽셀 수준의 불확실성 맵이 이미지 수준 세분화 품질 예측의 정확성을 향상시킬 수 있는가?
• RQ2 의료 영상 설정에서 어떤 불확실성 추정 기법이 세분화 품질 예측에 가장 효과적인가?
• RQ3 g에 (x, yhat)만을 사용하는 것과 z(불확실성)를 함께 사용하는 것이 세분화 품질 예측에 어떤 차이를 만드는가?
• RQ4 두 단계 접근법이 서로 다른 불확실성 추정 방법에서도 로버스트한가?
• RQ5 ISIC 2017 피부 병변 세분화에서 제안 방법의 성능은 RCA 및 QualityNet과 어떻게 비교되는가?

주요 결과

방법	RMSE	탐지 오류	AUROC	AUPR-합격	AUPR-실패
RCA	0.438 ± 0.007	43.8 ± 1.0	53.7 ± 1.4	74.4 ± 1.4	30.7 ± 0.9
QualityNet	0.213 ± 0.009	25.7 ± 2.7	80.9 ± 3.1	89.0 ± 2.3	69.1 ± 4.7
No Uncertainty	0.198 ± 0.011	27.3 ± 3.3	79.8 ± 3.8	88.5 ± 1.9	66.4 ± 7.9
Max Probability	0.168 ± 0.014	18.4 ± 3.0	88.4 ± 2.2	93.2 ± 1.6	80.5 ± 3.2
MC-dropout	0.163 ± 0.010	18.8 ± 1.4	88.1 ± 0.8	93.5 ± 1.3	78.1 ± 3.0
HCNN	0.196 ± 0.023	21.3 ± 1.8	85.5 ± 1.5	91.6 ± 1.4	76.2 ± 4.5
LCE	0.167 ± 0.019	19.3 ± 1.1	88.3 ± 1.4	93.6 ± 1.5	79.1 ± 3.9

• 명시적 불확실성 정보를 사용하면 불확실성 없는 베이스라인보다 세분화 품질 추정이 향상된다.
• Maximum softmax probability, MC-Dropout, 및 Learned Confidence Estimates는 이 설정에서 유사하게 작동하며 베이스라인 대비 개선을 제공한다.
• HCNN은 세분화 품질 예측에서 불확실성 방법들 중 가장 적은 개선을 보인다.
• RCA는 병변 외관의 높은 가변성으로 인해 ISIC 2017 데이터에 대해 성능이 좋지 않다.
• QualityNet은 본 연구에서 노 불확실성 베이스라인과 거의 비슷한 성능을 보인다.
• 두 단계 프레임워크는 불확실성을 도입할 때 일관되게 RMSE와 탐지 오류를 감소시킨다.