[논문 리뷰] Transformation Consistent Self-ensembling Model for Semi-supervised Medical Image Segmentation

Xiaomeng Li, Lequan Yu외 4명|arXiv (Cornell University)|2019. 02. 28.

Retinal Imaging and Analysis참고 문헌 66인용 수 33

한 줄 요약

논문은 Transformation-Consistent Self-ensembling Model(TCSM_v2)를 도입한 반감독 의료 영상 분할 방법으로, 변환-일관성 예측을 강제하는 교사-학생 EMA 프레임워크를 사용하며 ISIC 2017, REFUGE, LiTS 데이터셋에서 평가했다.

ABSTRACT

Deep convolutional neural networks have achieved remarkable progress on a variety of medical image computing tasks. A common problem when applying supervised deep learning methods to medical images is the lack of labeled data, which is very expensive and time-consuming to be collected. In this paper, we present a novel semi-supervised method for medical image segmentation, where the network is optimized by the weighted combination of a common supervised loss for labeled inputs only and a regularization loss for both labeled and unlabeled data. To utilize the unlabeled data, our method encourages the consistent predictions of the network-in-training for the same input under different regularizations. Aiming for the semi-supervised segmentation problem, we enhance the effect of regularization for pixel-level predictions by introducing a transformation, including rotation and flipping, consistent scheme in our self-ensembling model. With the aim of semi-supervised segmentation tasks, we introduce a transformation consistent strategy in our self-ensembling model to enhance the regularization effect for pixel-level predictions. We have extensively validated the proposed semi-supervised method on three typical yet challenging medical image segmentation tasks: (i) skin lesion segmentation from dermoscopy images on International Skin Imaging Collaboration (ISIC) 2017 dataset, (ii) optic disc segmentation from fundus images on Retinal Fundus Glaucoma Challenge (REFUGE) dataset, and (iii) liver segmentation from volumetric CT scans on Liver Tumor Segmentation Challenge (LiTS) dataset. Compared to the state-of-the-arts, our proposed method shows superior segmentation performance on challenging 2D/3D medical images, demonstrating the effectiveness of our semi-supervised method for medical image segmentation.

연구 동기 및 목표

• 의료 영상에서 제한된 라벨 데이터로 분할 학습을 촉진한다.
• 라벨 데이터에 대한 감독 손실과 라벨 및 비라벨 데이터 모두에 대한 규제 손실을 결합한 반감독 프레임워크를 제안한다.
• 픽셀 단위 예측에 대한 변환-일관성 자기 앙상블 전략을 도입한다.
• 확대/축소 등 변환 정규화를 교사 모델을 포함한 설정으로 확장하여 타깃과 강건성을 개선한다.

제안 방법

• 라벨 데이터에 대한 감독 손실과 라벨 및 비라벨 데이터에 대한 규제 손실의 가중 합을 사용한다.
• 입력 공간 및 출력 공간 변환(회전, 뒤집기, 스케일링) 하에서 예측 간 합의를 강제하는 변환-일관성 정규화를 도입한다.
• 일관성 손실의 더 나은 타깃을 제공하기 위해 학생 모델의 EMA(지수 이동 평균)인 교사 모델을 활용한다.
• 정규화를 풍부하게 하기 위해 가우시안 노이즈 및 드롭아웃과 같은 추가 난폭 perturbations를 도입한다.
• 2D 및 3D 분할 네트워크에 적용한다(DenseUNet를 2D 피부경/REFUGE 데이터세트에 사용; LiTS의 경우 3D U-Net을 사용).
• 정규화 가중치의 시간 의존적 증가 램프를 훈련하고 총 손실 L + lambda(T) R로 최적화한다.

실험 결과

연구 질문

• RQ1 Transformation-Consistent Self-ensembling이 제한된 라벨에서 반감독 분할 성능을 개선할 수 있는가?
• RQ2 회전, 뒤집기 및 스케일링 변환이 학생-교사 예측 간 픽셀 단위 일관성에 어떤 영향을 미치는가?
• RQ3 스케일링 변환과 EMA 교사를 도입하면 2D 및 3D 의료영상 과제에서 정규화와 정확도를 개선하는가?
• RQ4 TCSM_v2가 피부경(피부 병변), 망막 이미지(시신경 원판), 볼륨 CT(간)와 같은 다양한 모달리티에서 어떤 성과를 보이는가?

주요 결과

Method	JA	DI	AC	SE	SP
Supervised	71.17	79.91	91.95	75.90	97.04
Supervised+regu	72.28	81.10	93.52	81.17	97.02
Ours	75.24	83.44	94.46	83.07	97.07

• TCSM_v2는 도전적인 2D 및 3D 의료 분할 작업에서 감독 기반 기준선 및 다른 반감독 방법보다 우수한 성능을 달성한다.
• Ablation 연구는 회전, 스케일링 및 노이즈/드롭아웃을 포함한 변환-일관성 정규화가 성능 향상에 크게 기여함을 보여준다.
• 2D 피부경 실험에서 이 방법은 여러 지표(JA, DI, AC, SE, SP 등)에서 베이스라인 및 구현체보다 개선되었다.
• ISIC 2017 피부 병변 분할, REFUGE 시신경 원판 분할, LiTS 간 분할 데이터셋에서 효과를 보인다.
• 교사 모델(학생의 EMA)을 사용하면 일관성 손실의 더 나은 타깃을 제공하여 규제화를 강화한다.