[논문 리뷰] Supervised Uncertainty Quantification for Segmentation with Multiple Annotations

Hu Shi, Daniel E. Worrall외 4명|arXiv (Cornell University)|2019. 07. 03.

Lung Cancer Diagnosis and Treatment참고 문헌 18인용 수 15

한 줄 요약

이 논문은 다중 평가자 간의 변동성을 지표로 삼아 보조적인 앨리토릭 불확실성의 진정값으로 활용함으로써 의료 영상 분할에 대한 지도 학습 기반의 불확실성 정량화 방법을 제안한다. 수정된 확률적 U-Net을 사용하여 교정된 앨리토릭 불확실성과 엡스테믹 불확실성을 동시에 추정함으로써, 기존 방법에 비해 LIDC-IDRI 및 MICCAI2012 데이터셋에서 더 나은 불확실성 교정, 더 높은 샘플 다양성 및 더 높은 분할 정확도를 달성하였다.

ABSTRACT

The accurate estimation of predictive uncertainty carries importance in medical scenarios such as lung node segmentation. Unfortunately, most existing works on predictive uncertainty do not return calibrated uncertainty estimates, which could be used in practice. In this work we exploit multi-grader annotation variability as a source of 'groundtruth' aleatoric uncertainty, which can be treated as a target in a supervised learning problem. We combine this groundtruth uncertainty with a Probabilistic U-Net and test on the LIDC-IDRI lung nodule CT dataset and MICCAI2012 prostate MRI dataset. We find that we are able to improve predictive uncertainty estimates. We also find that we can improve sample accuracy and sample diversity. In real-world applications, our method could inform doctors about the confidence of the segmentation results.

연구 동기 및 목표

• 의료 영상 분할에서 교정된 예측 불확실성 추정의 부족을 해결하기 위해, 특히 임상 의사결정 지원 환경에서의 적용 가능성을 고려한다.
• 다중 애너테이션 데이터셋에서의 평가자 간 변동성을 지도 학습을 위한 진정값 앨리토릭 불확실성의 근원으로 활용한다.
• 딥 러닝 기반 분할 모델에서 불확실성 교정 및 샘플 다양성 향상을 동시에 개선한다.
• 확률적 U-Net을 지도 학습 목표 함수를 통해 앨리토릭 불확실성에 대해 확장하면서도 엑스테믹 불확실성 추정 능력을 유지한다.
• 실제 의료 영상 데이터셋(LIDC-IDRI 및 MICCAI2012)에서의 평가를 통해 임상적 관련성을 확보한다.

제안 방법

• 이미지당 다수의 전문가 애너테이션을 활용하여 픽셀 단위의 분산을 진정값 앨리토릭 불확실성으로 계산한다.
• 평가자 간 분산을 앨리토릭 불확실성의 지도 학습 타겟으로 사용하여 수정된 확률적 U-Net을 학습시켜 평균 분할 결과와 불확실성 예측을 동시에 수행한다.
• 전체 분산의 법칙을 적용하여 예측 불확실성을 앨리토릭 및 엑스테믹 성분으로 분해한다.
• 변분 추론과 변분 드롭아웃을 사용하여 모델 파라미터의 엑스테믹 불확실성을 모델링한다.
• 분할 출력에 대해 정규 분포 가능도를 사용한 증거 하한 경계(ELBO) 목적 함수를 최적화한다.
• 재구성 손실과 불확실성 예측 손실을 동시에 최소화하여 불확실성 추정치를 교정한다.

실험 결과

연구 질문

• RQ1 다중 애너테이션 의료 영상에서의 평가자 간 변동성이 앨리토릭 불확실성 추정을 위한 효과적인 지도 신호로 활용될 수 있는가?
• RQ2 평가자 간 분산에 대한 지도 학습이 딥 러닝 기반 분할 모델에서의 앨리토릭 불확실성 추정의 교정도를 향상시키는가?
• RQ3 제안된 방법이 다양성에 대한 명시적 최적화 없이도 분할 정확도와 샘플 다양성을 동시에 향상시킬 수 있는가?
• RQ4 진정값과의 시각적 및 정량적 유사도 측면에서, 제안된 불확실성 분해(앨리토릭 대비 엑스테믹)가 기준 방법에 비해 어떻게 성능을 발휘하는가?
• RQ5 기존 방법에 비해 모델의 엑스테믹 불확실성은 희귀하거나 분포 외 구조에 대해 더 잘 모델의 자신감을 반영하는가?

주요 결과

• LIDC-IDRI 데이터셋에서 제안된 방법은 $D_{\text{GED}}^{2}$ 점수 0.267 ± 0.012를 기록하여 Kohl 등 [16]의 0.346 ± 0.038보다 낮게 나타내어 더 나은 샘플 다양성과 정확도를 보였다.
• MICCAI2012 데이터셋에서 $D_{\text{GED}}^{2}$ 점수는 0.373 ± 0.021을 기록하여 기준값 0.382 ± 0.017를 초월하였다.
• LIDC-IDRI에서 데이터 불확실성 예측의 정규화 상관계수는 0.669 ± 0.011로, Kendall & Gal의 0.597 ± 0.006보다 유의미하게 높았고, MICCAI2012에서는 0.345 ± 0.005로 0.299 ± 0.011보다 유의미하게 높았다.
• 시각적 비교 결과, 제안된 방법은 앨리토릭 불확실성의 진정값 척도와 형태를 더 잘 반영하였으며, 이미지 경계에서의 과도한 불확실성 추정을 방지하였다.
• 엑스테믹 불확실성 맵은 이미지 경계로 퍼지지 않고 희귀한 중심 구조 주변에 국한되어 있어 더 나은 모델 자신감 교정을 시사하였다.
• 다양성에 대한 명시적 정규화 없이도 불확실성 교정 및 샘플 다양성 향상을 동시에 향상시켰으며, 이는 지도 학습 기반 불확실성 목표 함수의 잠재적 유의미한 효과를 나타낸다.