[논문 리뷰] Anatomically-aware Uncertainty for Semi-supervised Image Segmentation

Sukesh Adiga V, José Dolz외 1명|arXiv (Cornell University)|2023. 10. 24.

Advanced X-ray and CT Imaging인용 수 5

한 줄 요약

이 논문은 심장 MRI 및 Abdominal CT 데이터셋에서 최신 기술 대비 분할 정확도를 향상시키면서 계산 비용을 줄이는 단일 추론을 통한 해부학적 인식 불확실성 추정 방법을 제안한다. 이는 전역 해부학적 표현을 활용하여 불확실성 추정을 유도함으로써, 기존의 국소적 픽셀 수준의 분산에 의존하지 않고도 해부학적 맥락을 고려한 정확한 분할을 가능하게 한다.

ABSTRACT

Semi-supervised learning relaxes the need of large pixel-wise labeled datasets for image segmentation by leveraging unlabeled data. A prominent way to exploit unlabeled data is to regularize model predictions. Since the predictions of unlabeled data can be unreliable, uncertainty-aware schemes are typically employed to gradually learn from meaningful and reliable predictions. Uncertainty estimation methods, however, rely on multiple inferences from the model predictions that must be computed for each training step, which is computationally expensive. Moreover, these uncertainty maps capture pixel-wise disparities and do not consider global information. This work proposes a novel method to estimate segmentation uncertainty by leveraging global information from the segmentation masks. More precisely, an anatomically-aware representation is first learnt to model the available segmentation masks. The learnt representation thereupon maps the prediction of a new segmentation into an anatomically-plausible segmentation. The deviation from the plausible segmentation aids in estimating the underlying pixel-level uncertainty in order to further guide the segmentation network. The proposed method consequently estimates the uncertainty using a single inference from our representation, thereby reducing the total computation. We evaluate our method on two publicly available segmentation datasets of left atria in cardiac MRIs and of multiple organs in abdominal CTs. Our anatomically-aware method improves the segmentation accuracy over the state-of-the-art semi-supervised methods in terms of two commonly used evaluation metrics.

연구 동기 및 목표

• 기존의 반감독 학습 의료 영상 분할을 위한 불확실성 추정 방법에서 높은 계산 비용과 제한된 해부학적 맥락 문제를 해결하기 위해.
• 국소적 픽셀 수준의 분산에만 의존하는 것이 아니라 전역 해부학적 구조 정보를 불확실성 추정에 통합하여 분할 성능을 향상시키기 위해.
• 몬테카를로 드롭아웃과 같은 다중 전방 전파를 요구하는 방법에 비해 단일 추론을 통해 불확실성 추정을 위한 단일한 타당한 해부학적 표현을 학습함으로써 다중 전방 전파의 필요성을 줄이기 위해.
• 높은 기울기 경계에만 집중하는 것이 아니라 임상적으로 의미 있는 영역(예: 모호한 경계 또는 평가자에 의한 컷)을 강조하는 더 신뢰할 수 있는 불확실성 맵을 생성하기 위해.
• 추론 오버헤드를 최소화하면서도 분할 정확도를 유지 또는 향상시킬 수 있는 효율적이고 확장 가능한 반감독 학습을 가능하게 하기 위해.

제안 방법

• 딥 오토에인코더 유사 아키텍처를 사용하여 지정된 분할 마스크 세트로부터 해부학적 인식 표현을 학습한다.
• 모델 예측을 이 해부학적 표현에 매핑하여 타당한 해부학적 분할을 생성하며, 이 타당한 마스크에서의 편차가 불확실성으로 간주된다.
• 예측값과 타당한 분할 간의 L2 거리를 픽셀 수준의 불확실성의 대리 지표로 사용하며, 단일 전방 전파로 계산된다.
• 불확실성 맵을 일致성 정규화 손실을 통해 학습 목표에 통합하여 분할 네트워크가 신뢰할 수 있는 영역에 집중하도록 이끈다.
• 해부학적 인식 불확실성을 동적 가중치 메커니즘으로 사용하는 메인 티처 프레임워크를 적용한다.
• 타당한 분할 매핑의 안정성과 일반화 능력을 향상시키기 위해 해부학적 표현의 잠재 공간에 노이즈를 주입한다.

실험 결과

연구 질문

• RQ1 전역 해부학적 표현은 국소적 픽셀 수준의 분산을 넘어서 반감독 학습 의료 영상 분할에서의 불확실성 추정을 향상시킬 수 있는가?
• RQ2 해부학적 타당성에 기반한 단일 추론 기반 불확실성 추정 방법이 다중 추론 기반 엔트로피 방법에 비해 정확도와 효율성 측면에서 뛰어나게 성능을 내는가?
• RQ3 해부학적 인식 불확실성은 높은 기울기 경계에만 집중하는 것이 아니라, 모호한 경계나 평가자 특화 컷과 같은 임상적으로 의미 있는 영역을 더 잘 강조할 수 있는가?
• RQ4 다양한 레이블 부족 환경(예: 10% 및 20% 레이블)에서 해부학적 인식 불확실성 통합이 분할 성능에 어떤 영향을 미치는가?
• RQ5 다른 영상 모odalities나 데이터셋의 데이터를 활용하여 해부학적 표현을 일반화하거나 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 심장 MRI에서의 심방 분할 및 복부 CT에서의 복부 기관 분할 모두에서 최신 기술을 초월하는 성능을 달성하여 Dice 및 HD95 지표에서 뛰어난 결과를 보였다.
• 불확실성 추정을 위한 단일 추론만으로도 수행되기 때문에, MCDO나 앙상블 기반 방법에 비해 계산 비용을 크게 줄였다.
• 제안된 방법이 생성한 불확실성 맵은 높은 기울기 경계에만 집중하는 것이 아니라, 명확하지 않은 해부학적 경계나 평가자에 의한 컷(예: 폐정맥)과 같은 도전적인 영역에 국한되어 있음을 확인하였다.
• 절단 실험 결과, 해부학적 표현의 잠재 공간에 노이즈를 주입함으로써 분할 정확도가 향상됨을 확인하여, 분포 이질성에 대한 강건성을 입증하였다.
• 해부학적 인식 표현은 영상 콘텐츠와 독립적이며, 다양한 데이터셋의 추가 분할 마스크를 통해 향상시킬 수 있어, 다중 모odal리티 일반화 잠재력을 보였다.
• 제한된 레이블 데이터 조건에서도 뛰어난 성능 유지를 보이며, 낮은 감독 환경에서도 강력한 일반화 능력을 입증하였다.