[논문 리뷰] Scribble-Supervised Medical Image Segmentation via Dual-Branch Network and Dynamically Mixed Pseudo Labels Supervision

Xiangde Luo, Minhao Hu외 5명|arXiv (Cornell University)|2022. 03. 04.

Medical Image Segmentation Techniques인용 수 5

한 줄 요약

이 논문은 희소한 스크래치 애너테이션만을 사용하여 엔드 투 엔드 학습이 가능한, 동적으로 혼합된 가짜 레이블을 갖춘 이중 브랜치 네트워크를 제안한다. 스크래치-초기화된 심장 MRI 분할에 적용하여, ACDC 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다. 이는 분할 마스크의 밀도 높은 레이블링 비용을 크게 줄였음에도 불구하고 기존의 스크래치-초기화 및 준-초기화 방법들을 능가한다.

ABSTRACT

Medical image segmentation plays an irreplaceable role in computer-assisted diagnosis, treatment planning, and following-up. Collecting and annotating a large-scale dataset is crucial to training a powerful segmentation model, but producing high-quality segmentation masks is an expensive and time-consuming procedure. Recently, weakly-supervised learning that uses sparse annotations (points, scribbles, bounding boxes) for network training has achieved encouraging performance and shown the potential for annotation cost reduction. However, due to the limited supervision signal of sparse annotations, it is still challenging to employ them for networks training directly. In this work, we propose a simple yet efficient scribble-supervised image segmentation method and apply it to cardiac MRI segmentation. Specifically, we employ a dual-branch network with one encoder and two slightly different decoders for image segmentation and dynamically mix the two decoders' predictions to generate pseudo labels for auxiliary supervision. By combining the scribble supervision and auxiliary pseudo labels supervision, the dual-branch network can efficiently learn from scribble annotations end-to-end. Experiments on the public ACDC dataset show that our method performs better than current scribble-supervised segmentation methods and also outperforms several semi-supervised segmentation methods.

연구 동기 및 목표

• 의료 영상에서 밀도 높은 픽셀 수준의 분할 마스크를 생성하는 데 드는 높은 레이블링 비용을 줄이기 위해.
• 희소한 스크래치 애너테이션만을 사용하여 약한 감독 기반 의료 영상 분할의 성능을 향상시키기 위해.
• 제한된 스크래치 감독 정보를 효과적으로 활용할 수 있는 강력한 가짜 레이블링 전략을 개발하기 위해.
• 스크래치와 가짜 레이블을 사용하여 분할 네트워크의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 완전히 감독된 방법에 가까운 성능를 달성하면서도 인간의 레이블링 노력 최소화를 위해.

제안 방법

• 공유 인코더와 두 개의 약간 다른 디코더를 갖춘 이중 브랜치 네트워크 아키텍처를 사용하여 다양한 예측을 생성한다.
• 두 디코더의 출력을 무작위 계수로 동적으로 혼합하여 보조 감독을 위한 강력한 가짜 레이블을 생성한다.
• 동적 혼합 전략은 가짜 레이블 생성 시 다양성과 일관성을 보장하여 모델의 자기 확인 편향을 줄인다.
• 스크래치 감독과 가짜 레이블 감독을 조합한 가중 손실 함수를 통해 네트워크를 학습시킨다.
• 손실 함수에는 스크래치와 가짜 레이블 감독의 기여도를 조절하는 하이퍼파rameter λ가 포함되어 있다.
• 성능 평가를 위해 ACDC 데이터셋에서 5겹 교차 검증을 수행한다.

실험 결과

연구 질문

• RQ1 이중 브랜치 네트워크는 조밀한 마스크 없이도 희소한 스크래치 애너테이션만으로 효과적으로 학습할 수 있는가?
• RQ2 고정되거나 일관된 가짜 레이블링 전략에 비해, 동적으로 혼합된 가짜 레이블링 전략이 분할 성능을 향상시키는가?
• RQ3 스크래치와 가짜 레이블 감독의 균형을 조절하는 하이퍼파rameter λ에 대해 이 방법의 민감도는 어떠한가?
• RQ4 제안된 방법은 훨씬 적은 레이블링 노력으로 완전히 감독된 또는 준-감독된 방법과 유사한 성능를 달성할 수 있는가?
• RQ5 디코더 예측의 동적 혼합은 정적 또는 상호 감독 접근 방식에 비해 더 강력하고 일반화된 가짜 레이블을 생성하는가?

주요 결과

• 제안된 방법은 ACDC 데이터셋에서 평균 DSC 0.872를 달성하여 최근 7종의 스크래치-초기화 방법들을 능가한다.
• 완전한 마스크보다 훨씬 적은 레이블링 노력이 필요한 스크래치 애너테이션만을 사용함에도 불구하고, 네 가지 준-초기화 분할 방법을 뛰어넘는 성능를 보였다.
• 민감도 분석 결과, λ 값이 0.01에서 1.0 사이일 때 성능가 안정적으로 유지되었으며, 최적의 성능는 λ = 0.5에서 달성되었다.
• 절단 분석 결과, 동적으로 혼합된 가짜 레이블(PLS) 전략이 일관성 정규화(CR) 또는 상호 가짜 레이블 감독(CPS) 전략보다 더 우수한 성능를 보였다.
• 주 디코더와 보조 디코더의 성능가 거의 동일하여, 가짜 레이블링 메커니즘을 통한 효과적인 지식 정복이 이루어졌음을 확인하였다.
• 정성적 결과 분석에서, 경계 영역에서 경쟁 방법들보다 더 정확한 분할 결과를 도출함을 확인하였다.