[논문 리뷰] Revisiting 3D Medical Scribble Supervision: Benchmarking Beyond Cardiac Segmentation

Karol Gotkowski, Klaus Maier‐Hein외 1명|arXiv (Cornell University)|2024. 03. 19.

Medical Imaging and Analysis인용 수 4

한 줄 요약

이 논문은 nnU-Net과 같은 최신 모델에 쉽게 통합할 수 있도록, 스크래치 레이블을 사용한 3D 의료 영상 분할을 위한 단순하면서도 효과적인 방법인 '부분 손실( partial losses)'을 제안한다. 이는 레이블이 지정된 바voxels에서만 손실을 계산함으로써, 기존의 손실 함수 형태를 유지하면서도 희소한 스크래치 레이블로부터 학습할 수 있도록 한다. 다양한 데이터셋에서 최신 기술 수준의 성능을 달성하며, 체계적이고 경량화된 방법들을 모두 능가하는 것으로 나타났고, 해부학적 구조, 영상 모odalities, 스크래치 스타일에 걸쳐 뛰어난 일반화 성능을 보였다.

ABSTRACT

Scribble supervision has emerged as a promising approach for reducing annotation costs in medical 3D segmentation by leveraging sparse annotations instead of voxel-wise labels. While existing methods report strong performance, a closer analysis reveals that the majority of research is confined to the cardiac domain, predominantly using ACDC and MSCMR datasets. This over-specialization has resulted in severe overfitting, misleading claims of performance improvements, and a lack of generalization across broader segmentation tasks. In this work, we formulate a set of key requirements for practical scribble supervision and introduce ScribbleBench, a comprehensive benchmark spanning over seven diverse medical imaging datasets, to systematically evaluate the fulfillment of these requirements. Consequently, we uncover a general failure of methods to generalize across tasks and that many widely used novelties degrade performance outside of the cardiac domain, whereas simpler overlooked approaches achieve superior generalization. Finally, we raise awareness for a strong yet overlooked baseline, nnU-Net coupled with a partial loss, which consistently outperforms specialized methods across a diverse range of tasks. By identifying fundamental limitations in existing research and establishing a new benchmark-driven evaluation standard, this work aims to steer scribble supervision toward more practical, robust, and generalizable methodologies for medical image segmentation.

연구 동기 및 목표

• 기존의 스크래치 레이블 기반 방법들이 특정 분할 아키텍처에 밀접하게 결합되어 있어 의료 영상 분석 과제 전반에 걸쳐 일반화가 어려운 문제를 해결한다.
• 심장 분할과 같은 단일 데이터셋에 국한된 희소 레이블 평가 문제를 해결하기 위해, 다양한 해부학적 구조와 영상 모달리티를 포함하는 종합적인 벤치마크를 구축한다.
• 모델 아키텍처에서 학습 메커니즘을 분리함으로써, 최신 분할 프레임워크에 스크래치 레이블을 원활하게 통합할 수 있도록 한다.
• 복잡한 작업 특화 시스템적 방법을 요구하지 않고도 아키텍처 수정 없이도 성능을 뛰어넘는 단순하고 모듈화된 접근 방식인 부분 손실이 효과가 있음을 입증한다.

제안 방법

• 부분 손실을 도입한다. 이는 부분 Cross-Entropy의 일반화로, 레이블이 지정된 바voxels에서만 손실을 계산함으로써, 희소한 스크래치 레이블로부터도 학습이 가능하면서도 원래의 분할 모델 손실 공식을 유지한다.
• 부분 손실을 Cross-Entropy 외에도 일반적인 분할 손실(예: Dice 손실)으로 확장하여, nnU-Net과 같은 현대 분할 프레임워크와의 호환성을 유지한다.
• 다양한 기관, 병변, 영상 모달리티(MRI, CT 등)를 포함하는 7개의 다양한 3D 의료 영상 데이터셋을 바탕으로 종합적인 벤치마크를 설계하여 의료 분야 전반에서의 일반화 능력을 평가한다.
• 일致된 평가 프로토콜과 레이블 예산을 사용하여, 모든 데이터셋에서 기존의 체계적 및 경량 스크래치 방법과 부분 손실을 체계적으로 비교한다.
• 고정된 레이블 예산 하에서 다양한 스크래치 스타일과 레이블 전략(예: 스크래치, 슬라이스 수준의 밀도 레이블, 무작위 이미지 샘플링)에 대해 안정성과 내구성을 평가한다.
• 잔차 U-Net 아키텍처에 부분 손실을 적용하여 이식성(포트폴리오)을 입증함으로써, 백본 모델에 관계없이 일관된 성능 향상을 보임을 확인한다.

Figure 1: (A): Depiction of the annotation effort reducing benefits of scribble-supervised learning. (B): Partial losses only consider annotated voxels during the loss computation. This idea, initially introduced for the Cross-Entropy loss, can be extended to other popular segmentation losses like t

실험 결과

연구 질문

• RQ1 아키텍처 수정 없이도 스크래치 레이블을 사용해 3D 의료 영상 분할에서 최신 기술 수준의 성능을 달성할 수 있는 단순하고 모듈화된 손실 공식인 부분 손실이 가능한가?
• RQ2 기존의 체계적 및 경량 스크래치 방법과 비교해 부분 손실의 성능가능성이 다양한 해부학적 구조, 병변, 영상 모달리티에서 어떻게 일반화되는가?
• RQ3 고정된 레이블 예산 하에서 다양한 스크래치 스타일과 레이블 전략에 대해 부분 손실이 일관된 성능을 유지하는가?
• RQ4 기본 nnU-Net 모델 외의 최신 분할 아키텍처로 부분 손실을 효과적으로 이식할 수 있는가?
• RQ5 이전의 스크래치 레이블 기반 방법들이 실무에서 널리 채택되지 못한 이유는 무엇이며, 체계적인 벤치마크와 모듈화된 접근 방식이 이러한 문제를 해결할 수 있는가?

주요 결과

• 부분 손실은 벤치마크 전반에서 pCE 전용 기준 대비 평균 Dice 스코어에서 0.045 향상되며, 단순한 수정으로도 뚜렷한 성능 향상을 보였다.
• 제안된 방법은 벤치마크에 포함된 7개의 모든 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 일반화 능력과 일관성 면에서 체계적 및 경량 방법을 모두 능가하였다.
• 부분 손실은 심장, 간, 뇌, 신장과 같은 다양한 해부학적 영역, 종양, 위축과 같은 병변, MRI, CT 등 다양한 영상 모달리티에서 뛰어난 일반화 성능를 보였으며, BraTS를 제외한 모든 경우에서 일관된 성능을 유지하였다. BraTS는 경계가 흐릿한 경우가 많아 모든 방법에 도전이었다.
• 희소 레이블 전략 중에서 스크래치가 동일한 레이블 예산 하에서 슬라이스 수준의 밀도 레이블보다 성능이 뛰어나며, 밀도 레이블은 레이블이 지정된 이미지 수가 적어 성능이 열 劣하므로, 희소 레이블링의 효율성이 높다는 점을 입증하였다.
• 정성 분석 결과, 부분 손실은 복잡한 해부학적 영역에서 체계적 및 경량 방법 대비 가장 일관되고 정확한 분할 경계를 생성하는 것으로 확인되었다.
• 잔차 U-Net 아키텍처로 이식한 결과에서도 부분 손실은 뛰어난 성능을 유지하였으며, 이는 모듈성과 현대 분할 프레임워크에 대한 광범위한 적용 가능성을 확인한다.

Figure 2: Examples of segmentation types with (A) depicting a dense segmentation and (B) a scribble segmentation generated by our automatic scribble generation method based on the dense segmentation.