[논문 리뷰] Spatially Varying Label Smoothing: Capturing Uncertainty from Expert Annotations

Mobarakol Islam, Ben Glocker|arXiv (Cornell University)|2021. 04. 12.

Radiomics and Machine Learning in Medical Imaging참고 문헌 31인용 수 4

한 줄 요약

이 논문은 전문가 애너테이션에서 경계 불확실성을 추출하여 의료 영상 분할에서 모델 캘리브레이션을 향상시키는 공간적으로 변하는 레이블 스무딩(SVLS)을 제안한다. 모호하지 않은 영역에서는 높은 신뢰도를 유지하면서 불확실한 경계에서는 스무딩을 적용하는 소프트 레이블을 생성함으로써, 추가 애너테이션이나 모델 변경 없이도 분할 정확도와 불확실성 측정을 향상시킨다.

ABSTRACT

The task of image segmentation is inherently noisy due to ambiguities regarding the exact location of boundaries between anatomical structures. We argue that this information can be extracted from the expert annotations at no extra cost, and when integrated into state-of-the-art neural networks, it can lead to improved calibration between soft probabilistic predictions and the underlying uncertainty. We built upon label smoothing (LS) where a network is trained on 'blurred' versions of the ground truth labels which has been shown to be effective for calibrating output predictions. However, LS is not taking the local structure into account and results in overly smoothed predictions with low confidence even for non-ambiguous regions. Here, we propose Spatially Varying Label Smoothing (SVLS), a soft labeling technique that captures the structural uncertainty in semantic segmentation. SVLS also naturally lends itself to incorporate inter-rater uncertainty when multiple labelmaps are available. The proposed approach is extensively validated on four clinical segmentation tasks with different imaging modalities, number of classes and single and multi-rater expert annotations. The results demonstrate that SVLS, despite its simplicity, obtains superior boundary prediction with improved uncertainty and model calibration.

연구 동기 및 목표

• 딥 러닝 기반 의료 영상 분할에서의 열악한 모델 캘리브레이션과 과도한 자신감 문제를 해결한다.
• 특히 레이블링이 모호한解부학적 경계에서 발생하는 공간적으로 구조화된 불확실성을 전문가 애너테이션으로부터 포착한다.
• 추가 애너테이션이나 아키텍처 변경 없이도 모델 캘리브레이션과 불확실성 추정을 향상시킨다.
• 여러 전문가 애너테이션의 상호 평가자 간 변동성을 활용하여 분할 모델의 강건성과 신뢰성을 향상시킨다.
• 기존의 세그멘테이션 학습 파이프라인에 쉽게 통합될 수 있는 단순하고 플러그인 방식의 솔루션을 제공한다.

제안 방법

• 여러 전문가 애너테이션의 공간적 일관성에 기반한 공간적으로 변하는 스무딩 커널을 사용하여 소프트 레이블을 생성한다.
• 각 픽셀 주변의 국소 영역에서 레이블 일치도를 세는 방식으로 복제 패딩을 적용하여 국소 불확실성을 계산한다.
• 스무딩이 낮은 평가자 간 일치도를 보이는 경계에서 더 높아지는 가중 평균 방식으로 SVLS 타겟 확률를 정의한다. 이때, one-hot 레이블의 가중 평균으로 표현된다.
• 수식을 사용하여 표현하면: $ p_{\text{svls}}(c|i) = \frac{1}{K} \sum_{k=1}^{K} \mathbb{I}(y_k(i) = c) + \alpha \cdot \left(1 - \frac{1}{K} \sum_{k=1}^{K} \mathbb{I}(y_k(i) = c) \right) $, 여기서 $ \alpha $ 는 스무딩을 제어하는 요소이며 공간적으로 적응형이다.
• 기존의 딥 네트워크(예: U-Net)를 사용하여 교차 엔트로피 손실을 SVLS 타겟을 사용하여 학습한다. 이는 one-hot 또는 균일한 레이블 스무딩 대신 사용된다.
• 공간적으로 적응형 스무딩을 사용하여 다수의 전문가 레이블을 집계함으로써 다중 평가자 설정(mSVLS)으로 방법을 확장한다.

실험 결과

연구 질문

• RQ1 전문가 애너테이션으로부터 경계 수준의 불확실성을 포착함으로써 공간적으로 변하는 레이블 스무딩이 의미적 분할에서 모델 캘리브레이션을 향상시킬 수 있는가?
• RQ2 SVLS는 표준 레이블 스무딩과 one-hot 인코딩에 비해 분할 정확도 및 불확실성 측정 측면에서 어떻게 비교되는가?
• RQ3 SVLS는 전문가 애너테이션의 상호 평가자 간 변동성을 얼마나 효과적으로 활용하여 모델의 강건성과 캘리브레이션을 향상시킬 수 있는가?
• RQ4 SVLS는 모호하지 않은 영역에서는 높은 자신감을 유지하면서도 불확실한 경계에서는 과도한 자신감을 줄이는가?
• RQ5 SVLS는 의료 영상 분할을 위한 딥 러닝 모델에서 다른 불확실성 추정 기법과 효과적으로 조합될 수 있는가?

주요 결과

• SVLS는 모델 캘리브레이션을 크게 향상시켜 기존의 표준 레이블 스무딩과 one-hot 인코딩 대비 기대 캘리브레이션 오차(ECE)를 최대 40% 감소시켰다.
• LIDC-IDRI 폐 결절 데이터셋에서 mSVLS는 DSC 0.688 ± 0.181을 기록하여 mOH(0.680 ± 0.183) 및 one-hot(0.674 ± 0.185) 기준선을 초월했다.
• 뇌 종양 분할에서 SVLS는 ECE를 0.141에서 0.0892(세트 1)로 감소시켜 모든 평가 세트에서 뛰어난 캘리브레이션 성능을 보였다.
• 신뢰도 다이어그램 분석 결과, mSVLS는 one-hot 또는 mOH 대비 이상적인 대각선 선에 훨씬 더 가까운 예측 신뢰도 분포를 생성하였다.
• 정성적 결과는 mSVLS가 구조 내부에서는 높은 신뢰도를, 경계에서는 증가된 불확실성을 반영하는 합리적인 불확실성 맵을 생성함을 확인했다.
• SVLS는 이진 및 다중 클래스 분할을 포함한 다양한 임상 작업에서 MRI 및 CT 스캔 모두에서 높은 성능를 유지하며, 다양한 의료 응용 분야에 효과적으로 적용 가능하다.