[논문 리뷰] Learning with Limited Annotations: A Survey on Deep Semi-Supervised Learning for Medical Image Segmentation

Rushi Jiao, Yichi Zhang외 3명|arXiv (Cornell University)|2022. 07. 28.

Radiomics and Machine Learning in Medical Imaging인용 수 20

한 줄 요약

의료 영상 분할을 위한 심층 반지도 학습 방법에 대한 포괄적 설문으로, pseudo-labeling, unsupervised regularization, 및 knowledge-prior 접근법을 상세히 다루고 한계 분석을 포함한다.

ABSTRACT

Medical image segmentation is a fundamental and critical step in many image-guided clinical approaches. Recent success of deep learning-based segmentation methods usually relies on a large amount of labeled data, which is particularly difficult and costly to obtain especially in the medical imaging domain where only experts can provide reliable and accurate annotations. Semi-supervised learning has emerged as an appealing strategy and been widely applied to medical image segmentation tasks to train deep models with limited annotations. In this paper, we present a comprehensive review of recently proposed semi-supervised learning methods for medical image segmentation and summarized both the technical novelties and empirical results. Furthermore, we analyze and discuss the limitations and several unsolved problems of existing approaches. We hope this review could inspire the research community to explore solutions for this challenge and further promote the developments in medical image segmentation field.

연구 동기 및 목표

• 비용이 큰 전문 주석 데이터로 인해 의학 영상에서 주석 효율적인 분할의 필요성을 제시한다.
• 의학 영상 분할에 대한 최근 심층 반지도 학습 방법들을 요약하고 그 기술적 신규성 및 실험 결과를 비교한다.
• 현재의 반지도 분할 접근법에서의 한계와 해결되지 않은 문제를 분석하여 향후 연구를 안내한다.

제안 방법

• 의학 영상 분할에 대한 세 가지 핵심 반지도 전략: pseudo-labeling, unsupervised regularization, 지식-우선 기반 방법을 검토한다.
• pseudo labels가 온라인으로 생성되는 방식( confidence-aware 및 post-processing 포함)이나 unlabeled 데이터를 활용하기 위한 label propagation을 통한 생성 방식을 설명한다.
• consistency 학습, co-training, entropy minimization을 포함한 unsupervised regularization 기법들을 개요하고 mean-teacher 및 Pi/Temporal ensembles와 같은 아키텍처와 함께 설명한다.
• 입력 및 피처 맵 수준의 잡음, 어 affine 변환, 탄성 변형, 그림자 교란, mix-up을 포함한 섭동에 대해 논의한다.
• 일관성 강화를 강제하기 위해 segmentation을 보조 작업(distance fields, contour prediction, reconstruction)과 결합하는 task-level regularization 접근법들을 제시한다.
• 일관성 계산의 변 variations(uncertainty weighting, multi-level, attention-guided)과 학습 신호에의 영향을 요약한다.

실험 결과

연구 질문

• RQ1 제한된 주석으로 의료 영상 분할을 가능하게 하는 주요 semi-supervised 전략은 무엇인가?
• RQ2 pseudo-labeling과 unsupervised regularization은 라벨 노이즈 및 도메인 시프트에 대해 얼마나 강건한가?
• RQ3 어떤 아키텍처 디자인과 섭동이 분할 작업에서 미사용 데이터를 가장 효과적으로 활용하는가?
• RQ4 현재의 심층 반지도 의료 영상 분할에서의 한계와 해결되지 않은 문제는 무엇인가?

주요 결과

• 본 설문은 방법들을 pseudo-labeling, unsupervised regularization(일관성, 코-트레이닝, 엔트로피 최소화), 및 지식-우선 접근으로 통합한다.
• pseudo-labeling의 효과성은 고신뢰도 선택 및 후처리에 의존하며; 라벨 전파는 확인 편향을 완화할 수 있다.
• 일관성 기반 방법(mean-teacher, Pi model, EMA)은 신중하게 선택된 섭동과 불확실성 가중치를 통해 2D/3D 의학 데이터셋에서 강력한 성능을 보인다.
• 코-트레이닝 및 다중 작업 전략은 모양이나 거리 맵 예측과 같은 보조 작업을 활용하여 강건성을 추가로 향상시킨다.
• 비지도 규칙화는 노이즈 민감도와 하이퍼파라미터 튜닝과 같은 난제를 안고 있어, 섭동 및 손실 구성의 신중한 설계가 필요하다.
• 본 논문은 한계점과 해결되지 않은 문제를 강조하며 주석 효율적인 의학 영상 분할에서 향후 연구를 촉진하고자 한다.