[논문 리뷰] Self-Supervision with Superpixels: Training Few-shot Medical Image Segmentation without Annotation

Cheng Ouyang, Carlo Biffi외 4명|arXiv (Cornell University)|2020. 07. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 73인용 수 15

한 줄 요약

이 논문은 초점화된 의사결정 기반 가짜 레이블과 적응형 국소 프로토타입 풀링 모듈을 사용하여 수동 레이블이 필요 없는 자기지도 학습(few-shot 의료 영상 분할) 프레임워크인 SSL-ALPNet을 제안한다. 이 방법은 복부 CT 및 MRI에서 최신 기술 수준(SOTA) 성능을 달성하며, 인간이 수동으로 레이블을 붙인 학습 데이터 없이도 전면적으로 초과 25% 높은 평균 Dice 점수를 기록한다.

ABSTRACT

Few-shot semantic segmentation (FSS) has great potential for medical imaging applications. Most of the existing FSS techniques require abundant annotated semantic classes for training. However, these methods may not be applicable for medical images due to the lack of annotations. To address this problem we make several contributions: (1) A novel self-supervised FSS framework for medical images in order to eliminate the requirement for annotations during training. Additionally, superpixel-based pseudo-labels are generated to provide supervision; (2) An adaptive local prototype pooling module plugged into prototypical networks, to solve the common challenging foreground-background imbalance problem in medical image segmentation; (3) We demonstrate the general applicability of the proposed approach for medical images using three different tasks: abdominal organ segmentation for CT and MRI, as well as cardiac segmentation for MRI. Our results show that, for medical image segmentation, the proposed method outperforms conventional FSS methods which require manual annotations for training.

연구 동기 및 목표

• 소수의 영상 분할 모델을 훈련하기 위해 부족한 수의 수동 레이블이 붙은 의료 영상 문제를 해결한다.
• 자기지도 학습을 활용하여 비용이 많이 들고 시간이 오래 걸리는 수동 레이블링에 의존하지 않도록 한다.
• 의료 영상에서의 전경-배경 클래스 불균형 문제를 개선된 국소 표현 학습을 통해 해결한다.
• 추론 시 레이블이 부여된 예시가 몇 개 밖에 없더라도 새로운 해부학적 구조나 병변에 일반화할 수 있도록 한다.
• 다양한 의료 영상 모odalities(CT, MRI)에 적용 가능한 견고한, 레이블이 없는 훈련 프레임워크를 개발한다.

제안 방법

• 비라벨이 붙은 의료 영상에서 초점화된 영역 기반 가짜 레이블을 생성하여 자기지도 학습의 전문 과제를 만든다.
• 자기지도 학습 과제를 하나의 초점화된 영역 대 기타 영역 분할 문제로 설정하여 특징의 구분 능력을 향상시킨다.
• 지원 이미지와 쿼리 이미지 간에 무작위 기하학적 및 강도 변환을 적용하여 표현의 불변성을 강제한다.
• 각 클래스당 다수의 국소 표현을 추출할 수 있는 적응형 국소 프로토타입 풀링(ALP) 모듈을 도입한다. 특히 큰 배경 영역에 유리하다.
• ALP 모듈을 프로토타입 네트워크에 통합하여 클래스 내 공간적 변동성을 유지하고 경계의 모호함을 줄인다.
• 자기지도 과제에서 대비 손실을 사용하여 전체 네트워크를 엔드 투 엔드로 훈련시켜 실제 의미 클래스로의 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 초점화된 영역 기반 가짜 레이블을 사용한 자기지도 학습이 인간 수동 레이블 없이도 소수의 영상 분할 모델을 효과적으로 훈련시킬 수 있는가?
• RQ2 극심한 전경-배경 클래스 불균형 상황에서 적응형 국소 프로토타입 풀링이 분할 성능을 어떻게 향상시키는가?
• RQ3 제안된 방법이 훈련 중에 볼 수 없었던 새로운 해부학적 구조나 병변에 얼마나 잘 일반화되는가?
• RQ4 무작위 데이터 증강(기하학적 및 강도 변환)이 학습된 표현의 견고성과 일반화 능력에 어떤 영향을 미치는가?
• RQ5 의료 영상에서 실제 의미적 객체 척도와 일치하기 위해 가짜 레이블링에 최적의 초점화된 영역 크기는 어느 정도인가?

주요 결과

• 제안된 SSL-ALPNet는 훈련 중에 수동 레이블이 전혀 없음에도 불구하고, 세 가지 의료 영상 작업 전반에서 최신 기술 수준의 FSS 방법보다 평균 25.1% 높은 Dice 점수를 기록한다.
• 설정 2에서 Abd-CT에서 평균 Dice 점수 63.02를 기록하여, 다음으로 우수한 방법인 SSL-PANet(59.31)을 크게 앞서며 성능을 뛰어넘는다.
• 제거 실험 결과, 자기지도 학습과 적응형 국소 프로토타입 풀링이 성능 향상에 독립적이고 상호 보완적으로 기여하는 것으로 확인된다.
• 지원 이미지와 쿼리 이미지 간에 기하학적 및 강도 변환을 모두 적용할 경우 성능이 가장 높았으며(평균 Dice 63.02), 이는 표현 불변성 확보에 중요함을 입증한다.
• 최소 크기가 400 픽셀인 가짜 레이블이 최적의 성능을 낸다. 이는 초점화된 영역의 해상도가 해부학적 세부 사항을 포착하기에 충분히 높아야 하지만, 의미 클러스터링을 방해하지 않도록 너무 작아서는 안 된다는 것을 시사한다.
• 모델은 새로운 클래스로의 일반화가 잘 되어 있음을 입증하며, 다양한 기관과 영상 프로토콜에서 일관된 성능을 보이며, 큰 병변이 있는 도전적인 케이스에도 잘 적응한다.