[논문 리뷰] Towards Reducing Aleatoric Uncertainty for Medical Imaging Tasks

Abhishek Singh Sambyal, Narayanan C. Krishnan외 1명|arXiv (Cornell University)|2021. 10. 21.

Explainable Artificial Intelligence (XAI)참고 문헌 7인용 수 5

한 줄 요약

이 논문은 자기지도 학습 복원 작업에서의 불확실성 추정을 활용하여 의료 영상 분할에서 난류 불확실성을 감소시키는 새로운 방법을 제안한다. 몽테 카를로 드롭아웃을 사용해 복원 과정에서 픽셀 수준의 불확실성을 모델링하고, 이 예측 분포에서 샘플링하여 데이터 증강을 수행함으로써, 표준 증강 기법보다 성능을 유지하거나 향상시키면서도 분할 과제에서 난류 불확실성을 크게 감소시킨다.

ABSTRACT

In safety-critical applications like medical diagnosis, certainty associated with a model's prediction is just as important as its accuracy. Consequently, uncertainty estimation and reduction play a crucial role. Uncertainty in predictions can be attributed to noise or randomness in data (aleatoric) and incorrect model inferences (epistemic). While model uncertainty can be reduced with more data or bigger models, aleatoric uncertainty is more intricate. This work proposes a novel approach that interprets data uncertainty estimated from a self-supervised task as noise inherent to the data and utilizes it to reduce aleatoric uncertainty in another task related to the same dataset via data augmentation. The proposed method was evaluated on a benchmark medical imaging dataset with image reconstruction as the self-supervised task and segmentation as the image analysis task. Our findings demonstrate the effectiveness of the proposed approach in significantly reducing the aleatoric uncertainty in the image segmentation task while achieving better or on-par performance compared to the standard augmentation techniques.

연구 동기 및 목표

• 안전 중심 의료 영상 과제에서 난류 불확실성을 줄이는 데 아직 탐색되지 않은 과제를 해결하기 위해.
• 자기지도 학습 복원 과제에서 추정된 불확실성을 본질적인 데이터 노이즈로 해석하기 위해.
• 이 추정된 불확실성을 후행 분할 과제에서 효과적인 데이터 증강에 활용하기 위해.
• 더 많은 데이터나 더 큰 모델에 의존하지 않고 예측 불확실성을 줄여 모델의 견고성을 향상시키기 위해.
• 불확실성 인식 증강이 표준 증강 및 전체 증강 기준선보다 우수함을 입증하기 위해.

제안 방법

• 이 방법은 몽테 카를로 드롭아웃을 사용한 자기지도 자동에코드를 활용하여 영상 복원 과정에서 난류 불확실성과 지식 기반 불확실성을 모두 추정한다.
• 모델은 픽셀 복원의 로그 분산을 예측하도록 훈련되며, 손실 함수를 통해 안정적인 난류 불확실성 추정이 가능하다: $ \mathcal{L}_{\text{BNN}} = \frac{1}{N_i}\sum_{j=1}^{N_i} \left( \frac{1}{2}\exp(-s_i)\|y_{ij}-\hat{y}_{ij}\|^2 + \frac{1}{2}s_i \right) $.
• 난류 불확실성은 $ \text{Var}(y_{ij}) \approx \left( \frac{1}{T}\sum_{t=1}^{T}(\hat{y}_{ij})_t^2 - \left( \frac{1}{T}\sum_{t=1}^{T}(\hat{y}_{ij})_t \right)^2 \right) + \frac{1}{T}\sum_{t=1}^{T}(\hat{\sigma}_{ij})_t^2 $ 로 추출된다.
• 이 불확실성 추정치는 분할 과제를 위한 훈련 동안 예측 분포에서 증강된 영상을 샘플링하는 데 사용된다.
• 이 방법은 불확실성 인식 샘플링을 데이터 증강 파이프라인에 통합하여 데이터 노이즈에 대한 견고성을 향상시킨다.
• 이 방법은 브레츠(BraTS) 기준 데이터셋을 사용하여 종양 분할을 후행 과제로 평가한다.

실험 결과

연구 질문

• RQ1 자기지도 학습 복원 과제에서 추정된 불확실성이 후행 의료 영상 분할 과제에서 난류 불확실성을 감소시키는 데 효과적으로 재사용될 수 있는가?
• RQ2 복원된 영상의 불확실성에 기반한 불확실성 인식 데이터 증강이 표준 증강 기법보다 예측에서 난류 불확실성을 낮출 수 있는가?
• RQ3 이 방법은 모델 용량을 늘리지 않고도 분할 성능을 향상시키면서 예측 불확실성을 감소시킬 수 있는가?
• RQ4 이 방법은 전체 데이터 증강 및 가우시안 노이즈 증강과 비교해 불확실성 校정 및 성능 지표 측면에서 어떻게 성과를 내는가?
• RQ5 난류 불확실성 감소가 종양 영역과 비종양 영역 모두에서 통계적으로 유의미하고 일관되게 이루어지는가?

주요 결과

• 제안된 방법은 종양 분할에서 난류 불확실성을 0.00154 ± 1.5e⁻⁶으로 가장 낮게 기록하여 기준선(0.01760 ± 5.4e⁻⁵)과 가우시안 노이즈 증강(0.00773 ± 1.7e⁻⁵)보다 유의미하게 낮춘 바 있다.
• 비종양 영역에서는 난류 불확실성을 0.00050 ± 1.6e⁻⁷로 감소시켜 기준선(0.00369 ± 1.4e⁻⁶)과 가우시안(0.00167 ± 6.6e⁻⁷)을 모두 능가했다.
• 이 방법은 딱시(0.790 ± 0.081), 재현율(0.723 ± 0.089), F1(0.548 ± 0.165) 지표에서 가장 높은 성능을 기록하여 기준선과 가우시안 노이즈 증강을 모두 능가했다.
• 예측 불확실성은 0.08761 ± 4.3e⁻³으로 감소하여 기준선(0.10397 ± 5.0e⁻³)과 가우시안(0.10173 ± 6.3e⁻³)보다 유의미하게 낮았다.
• 기대 캘리브레이션 오차(ECE)는 0.0150, 브리어 스코어는 0.0162로 가장 낮아 우수한 불확실성 캘리브레이션을 보였다.
• 통계 분석을 통해 이 방법이 주요 지표에서 유의미하게 뛰어난 성능을 보였으며, 최고의 기준선 대비 p < 0.001로 매우 유의미한 향상이 확인되었다.