[논문 리뷰] Learning Morphological Feature Perturbations for Calibrated Semi-Supervised Segmentation

Moucheng Xu, Yukun Zhou외 7명|arXiv (Cornell University)|2022. 03. 19.

Radiomics and Machine Learning in Medical Imaging인용 수 5

한 줄 요약

이 논문은 모양학적 특징 변형을 양성 및 음성 주의 메커니즘을 통해 학습함으로써 모델 캘리브레이션을 향상시키는 일致성 기반 준지도 분할 프레임워크인 MisMatch를 제안한다. 특징에 대해 미분 가능 팽창 및 침식 유사 연산을 적용함으로써, 레이블이 10%뿐인 경우에도 CT 및 MRI 분할 작업에서 최신 기준 성능을 달성하며, 정확도와 캘리브레이션 측면에서 완전 지도 기반 기준보다 뛰어나다.

ABSTRACT

We propose MisMatch, a novel consistency-driven semi-supervised segmentation framework which produces predictions that are invariant to learnt feature perturbations. MisMatch consists of an encoder and a two-head decoders. One decoder learns positive attention to the foreground regions of interest (RoI) on unlabelled images thereby generating dilated features. The other decoder learns negative attention to the foreground on the same unlabelled images thereby generating eroded features. We then apply a consistency regularisation on the paired predictions. MisMatch outperforms state-of-the-art semi-supervised methods on a CT-based pulmonary vessel segmentation task and a MRI-based brain tumour segmentation task. In addition, we show that the effectiveness of MisMatch comes from better model calibration than its supervised learning counterpart.

연구 동기 및 목표

• 준지도 분할에서 전문가가 레이블링한 의료 영상 데이터의 부족 문제를 해결하기 위해 레이블링 요구를 줄이기.
• 이미지 수준의 일치 정규화가 픽셀 수준에서 저밀도 영역이 없기 때문에 실패하는 문제를 해결하기 위해 분할 작업에서의 제약을 극복하기.
• 임상적 신뢰성에 매우 중요한 준지도 학습에서의 모델 캘리브레이션 향상하기.
• 형태학적 연산(팽창/침식)을 모방하는 의미 있는 특징 변형을 학습하는 미분 가능이고 종단 간(end-to-end) 프레임워크 개발하기.
• 형태학적 변형에 의해 유도된 특징 수준의 일치 정규화가 기존 방법보다 더 나은 분할 성능과 캘리브레이션을 이끌어내는지 입증하기.

제안 방법

• 프레임워크는 이중 헤드 디코더를 사용한다: 한 헤드는 전경 영역에 대해 양성 주의를 적용하여 팽창된 특징을 학습하고, 다른 헤드는 음성 주의를 적용하여 침식된 특징을 학습한다.
• 두 디코더는 동일한 비라벨 영상에 대해 쌍으로 예측을 생성함으로써, 변형된 특징 표현 간의 일치 정규화를 가능하게 한다.
• 형태학적 특징 변형은 비가역적인 전통적 형태학적 연산을 피하기 위해, 미분 가능한 주의 메커니즘을 사용해 종단 간으로 학습된다.
• 일치 손실은 두 디코더 출력 간 평균 제곱오차를 사용해 계산되며, 특징 수준의 변형에 대해 예측이 불변성을 유지하도록 모델을 유도한다.
• 모델은 가중치가 부여된 일치 손실로 훈련되며, 하이퍼파ram터 α는 지도 학습 손실과 일치 손실 간의 트레이드오프를 제어한다.
• 모델 캘리브레이션은 신뢰도 다이어그램과 기대 캘리브레이션 오차(Expected Calibration Error, ECE)를 사용해 평가되며, 낮은 ECE는 예측 신뢰도와 정확도 간의 일치를 의미한다.

실험 결과

연구 질문

• RQ1 미분 가능한 형태학적 변형을 활용한 특징 수준의 일치 정규화가 이미지 수준의 증강을 넘어서 준지도 의료 영상 분할 성능을 향상시킬 수 있는가?
• RQ2 팽창 및 침식 연산을 모방하는 변형을 학습하는 것이 기존 데이터 증강 기법보다 더 나은 모델 캘리브레이션을 이끌어내는가?
• RQ3 주의 기반 특징 변형을 사용하는 일치 중심 프레임워크가 레이블 데이터의 10%만으로도 완전 지도 모델과 비교할 만한 성능을 달성할 수 있는가?
• RQ4 제안된 방법은 최신 준지도 및 완전 지도 기반 기준 대비 캘리브레이션과 분할 정확도 측면에서 어떻게 비교되는가?
• RQ5 왜 이미지 수준이 아닌 특징 수준에서의 일치 정규화가 분할 작업에서 더 나은 결정 경계 국소화를 이끌어내는가?

주요 결과

• MisMatch는 레이블 데이터의 10%만으로도 CARVE 폐 혈관 분할 데이터셋에서 평균 교차율(IoU) 75%를 달성하였으며, 레이블 100%를 사용한 완전 지도 모델의 77% IoU에 매우 가까운 성능을 보였다.
• BraTS 뇌 종양 분할 작업에서 MisMatch는 최신 준지도 방법들을 능가하며, 제한된 지도 학습 조건에서도 뛰어난 일반화 성능을 입증하였다.
• 기존 완전 지도 모델 대비 유의미하게 더 나은 캘리브레이션 성능을 보였으며, 기대 캘리브레이션 오차(ECE)가 낮고, 신뢰도 다이어그램에서 신뢰도와 정확도 간의 일치가 더 타이트함을 확인하였다.
• 절단 실험 결과, 양성 및 음성 주의 헤드를 모두 갖춘 이중 디코더 아키텍처(MisMatch)가 10개의 교차 검증 실험 중 8개에서 한 가지 유형의 변형 또는 변형 없이 학습된 변종보다 뛰어난 성능을 보였다.
• 일치 손실의 최적 하이퍼파ram터 α는 0.002로 확인되었으며, 이는 지도 학습과 일치 손실 간의 균형을 효과적으로 유지하는 데 기여하였다.
• 신뢰도 다이어그램은 MisMatch의 예측이 더 잘 캘리브레이션되어 있음을 보여주었으며, 모든 신뢰도 간격에서 신뢰도와 정확도 간 격차가 작게 유지되어 임상 환경에서 더 높은 신뢰성을 확보하고 있음을 시사한다.