[논문 리뷰] FixMatchSeg: Fixing FixMatch for Semi-Supervised Semantic Segmentation

Pratima Upretee, Bishesh Khanal|arXiv (Cornell University)|2022. 07. 31.

Radiomics and Machine Learning in Medical Imaging인용 수 7

한 줄 요약

FixMatchSeg는 강력한 데이터 증강을 사용한 일致성 정규화와 의사 레이블링을 적용하여 의료 영상에서의 의미 분할에 FixMatch의 준지도 학습 분류 프레임워크를 적응시킨다. 네 가지 다양한 의료 영상 데이터셋에서 소수의 레이블이 있는 경우에도 지도 학습 기반 모델과 비슷한 성능을 달성하며, 특히 레이블이 적은 환경에서 뚜렷한 성능 향상을 보이며, REFUGE 망막 혈관도 데이터셋에서는 딱도 스코어에서 지도 학습 기반 모델보다 최대 27% 높은 성능을 기록한다.

ABSTRACT

Supervised deep learning methods for semantic medical image segmentation are getting increasingly popular in the past few years.However, in resource constrained settings, getting large number of annotated images is very difficult as it mostly requires experts, is expensive and time-consuming.Semi-supervised segmentation can be an attractive solution where a very few labeled images are used along with a large number of unlabeled ones. While the gap between supervised and semi-supervised methods have been dramatically reduced for classification problems in the past couple of years, there still remains a larger gap in segmentation methods. In this work, we adapt a state-of-the-art semi-supervised classification method FixMatch to semantic segmentation task, introducing FixMatchSeg. FixMatchSeg is evaluated in four different publicly available datasets of different anatomy and different modality: cardiac ultrasound, chest X-ray, retinal fundus image, and skin images. When there are few labels, we show that FixMatchSeg performs on par with strong supervised baselines.

연구 동기 및 목표

• 전문가 레이블링이 비용이 많이 들고 시간이 오래 걸리는 저자원 임상 환경에서의 제한된 레이블이 부여된 의료 영상 문제를 해결하기 위해.
• 강력한 FixMatch 준지도 학습 분류 방법을 더 복잡한 의료 영상 분할 작업에 적응시키기 위해.
• 소수의 레이블이 있는 경우에 단순한 종단 간 준지도 학습 접근 방식이 지도 학습 기반 모델을 능가할 수 있는지 평가하기 위해.
• 데이터셋 별 성능 차이와 데이터 다양성, 증강 기법, 형태/색소 편향의 영향을 준지도 분할에서 조사하기 위해.

제안 방법

• 강력한 증강을 적용한 비레이블 영상에 대해 일치성 정규화와 의사 레이블링 전략을 의미 분할에 적용함으로써 FixMatch의 기법을 적응시킴.
• 교사 모델이 비레이블 영상에 대해 의사 레이블을 생성하고, 이를 학생 모델 학습에 사용하는 학생-교사 프레임워크를 사용함.
• 낮은 신뢰도의 의사 레이블을 걸러내기 위해 신뢰도 임계값(τ)을 적용함으로써 학습 중에 고품질 예측만 사용됨을 보장함.
• 교차 엔트로피 손실과 일치성 손실의 조합을 사용하며, 후자는 동일한 이미지에 대해 다른 증강 방식을 적용했을 때의 예측 간 격리 차이를 벌리게 함.
• 약한 증강과 강한 증강에 대해 다르게 적용되는 표준 데이터 증강 정책(예: 무작위 자르기, 색상 왜곡, 수평 뒤집기)을 사용함.
• 감독 학습 신호와 비감독 학습 신호를 균형 있게 조정하기 위해 하이퍼파ram터 λu로 가중치를 적용하여 레이블이 있는 데이터와 의사 레이블이 있는 데이터를 종단 간으로 함께 학습함.

실험 결과

연구 질문

• RQ1 FixMatch 준지도 학습 학습 프레임워크는 의료 영상에서의 의미 분할에 성공적으로 적응될 수 있는가?
• RQ2 다양한 의료 영상 도메인에서 소수의 레이블만 있는 경우 FixMatchSeg는 지도 학습 기반 모델보다 어떻게 성능을 내는가?
• RQ3 이미지 모odal, 해부학적 특성, 텍스처/형태 편향 등의 요인이 FixMatchSeg의 성능 향상에 영향을 미치는가?
• RQ4 FixMatchSeg의 성능은 레이블이 있는 데이터와 없는 데이터의 비율에 따라 달라지며, 더 많은 비레이블 데이터가 존재할 경우 포화 상태에 도달하는가?
• RQ5 데이터 증강, 의사 레이블 임계값 설정, 모델 초기화 방식(무작위 vs. 사전 학습된)이 최종 분할 정확도에 어떤 영향을 미치는가?

주요 결과

• CAMUS 심장 초음파 영상 데이터셋에서 FixMatchSeg는 레이블이 100개 뿐인 경우에도 딱도 스코어 0.9447을 달성하였으며, 1624개의 레이블을 가진 지도 학습 U-Net 기반 모델보다 뛰어난 성능을 보였다.
• REFUGE 망막 혈관도 데이터셋에서 FixMatchSeg는 레이블 100개와 비레이블 400개를 사용하여 딱도 스코어 0.85를 기록하였고, 동일한 레이블 수를 가진 지도 학습 기반 모델은 0.58의 성능을 보였다.
• ISIC 2017 피부 병변 데이터셋에서 FixMatchSeg는 사전 학습된 지도 학습 기반 모델의 딱도 스코어 0.74를 0.76으로 향상시켜 일관되지만 보수적인 성능 향상을 보였다.
• SCR 흉부 X선 영상 데이터셋에서 FixMatchSeg는 레이블 100개와 비레이블 100개를 사용하여 딱도 스코어 0.87을 달성하였고, 지도 학습 기반 모델보다 0.01 높은 성능을 기록하였다.
• 형태가 규칙적인 영역(예: 심장, 폐)이 많은 데이터셋에서는 뚜렷한 성능 향상을 보였고, 텍스처가 풍부하고 불규칙한 형태의 영역(예: 피부 병변)에서는 중간 정도의 성능 향상을 보였으며, 이는 해부학적 특성과 텍스처적 특성에 민감함을 시사한다.
• 데이터 다양성이 높고 형태/텍스처 요구 사항이 복잡한 데이터셋(예: REFUGE)에서 FixMatchSeg의 성능 향상이 특히 두드러졌으며, 이는 비레이블 데이터의 다양성이 성능 향상의 핵심 요소임을 시사한다.