[논문 리뷰] Bidirectional Copy-Paste for Semi-Supervised Medical Image Segmentation

Yunhao Bai, Duowen Chen외 3명|arXiv (Cornell University)|2023. 05. 01.

Advanced Neural Network Applications인용 수 12

한 줄 요약

이 논문은 반지도 의료 영상 분할에서 레이블 데이터와 비레이블 데이터 분포를 정렬하기 위해 Mean Teacher 프레임워크 내에 Bidirectional Copy-Paste (BCP)를 도입하여 Dice 지표에서 큰 이득을 얻는다(예: ACDC에서 5% 레이블 사용 시 최대 21%의 Dice 개선).

ABSTRACT

In semi-supervised medical image segmentation, there exist empirical mismatch problems between labeled and unlabeled data distribution. The knowledge learned from the labeled data may be largely discarded if treating labeled and unlabeled data separately or in an inconsistent manner. We propose a straightforward method for alleviating the problem - copy-pasting labeled and unlabeled data bidirectionally, in a simple Mean Teacher architecture. The method encourages unlabeled data to learn comprehensive common semantics from the labeled data in both inward and outward directions. More importantly, the consistent learning procedure for labeled and unlabeled data can largely reduce the empirical distribution gap. In detail, we copy-paste a random crop from a labeled image (foreground) onto an unlabeled image (background) and an unlabeled image (foreground) onto a labeled image (background), respectively. The two mixed images are fed into a Student network and supervised by the mixed supervisory signals of pseudo-labels and ground-truth. We reveal that the simple mechanism of copy-pasting bidirectionally between labeled and unlabeled data is good enough and the experiments show solid gains (e.g., over 21% Dice improvement on ACDC dataset with 5% labeled data) compared with other state-of-the-arts on various semi-supervised medical image segmentation datasets. Code is available at https://github.com/DeepMed-Lab-ECNU/BCP}.

연구 동기 및 목표

• 반지도 의료 분할에서 작게 라벨링된 세트와 크게 비라벨링된 세트 간의 분포 불일치를 동기 부여하고 해결한다.
• 레이블링된 데이터와 비레이블 데이터 간에 지식을 양방향으로 전달하는 단순하고 일관된 학습 메커니즘을 제안한다.
• 복사-붙여넣기 증강을 활용하여 공통 의미를 유도하고 경험적 분포 차이를 감소시킨다.
• 추가 학습 가능한 매개변수를 늘리지 않으면서 여러 데이터셋과 어블레이션에서 강한 경험적 이점을 보여준다.

제안 방법

• Teacher와 Student 네트워크가 있는 Mean Teacher 프레임워크에서 작동한다.
• 레이블링된 이미지와 비레이블 이미지 간에서 크롭을 양방향으로 복사-붙여넣어 두 개의 혼합 입력을 생성한다(안쪽 inward, 바깥쪽 outward).
• Teacher의 의사 라벨과 레이블된 실제 정답으로부터 파생된 양방향 혼합 감독 신호로 Student를 감독한다.
• 제로 중심의 copy-mask를 사용해 잘라낸 영역을 정의하고 전경 크기를 제어하는 베타 매개변수(beta ≈ 2/3)를 사용한다.
• 레이블링/비레이블링 마스크가 있는 혼합 입력에서 손실을 계산해 감독을 균형 있게 조정한다(alpha가 비레이블링 기여를 제어한다).
• 각 반복 후 Student 매개변수의 지수 이동 평균을 통해 Teacher를 업데이트한다.

실험 결과

연구 질문

• RQ1 레이블링된 데이터와 비레이블 데이터 간의 양방향 복사-붙여넣기가 반지도 의료 분할에서 경험적 분포 불일치를 줄이는가?
• RQ2 Inward와 Outward 복사-붙여넣 방향이 공통 의미 학습 및 최종 분할 정확도에 어떤 영향을 미치는가?
• RQ3 마스킹 전략, 크롭 크기, 손실 가중치가 데이터셋 간 성능에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 추가 모델 복잡도 없이 기존의 반지도 학습 방법들을 능가할 수 있는가?

주요 결과

• BCP는 데이터셋 전반에 걸쳐 레이블 데이터와 비레이블 데이터 간의 성능 격차를 상당히 줄인다.
• 5% 라벨 데이터가 있는 ACDC에서 본 방법은 기준 대비 최대 21% Dice 개선을 달성한다.
• LA, Pancreas-NIH 및 ACDC에서 BCP는 Dice, Jaccard, 경계 지표(예: 95HD 및 ASD)에서 일관되게 최첨단 반지도 방법들을 능가한다.
• 어블레이션 연구에서 양방향(Inward 및 Outward) 방향이 단일 방향 Copied-Paste 및 CP-only 변형보다 우수함을 보인다.
• 레이블 데이터에서 copy-paste로 사전 학습하고 비레이블 감독의 알파 값을 낮추는 것이 의사 라벨 품질과 최종 Dice를 향상시킨다.
• 이 방법은 새로운 학습 가능한 매개변수를 추가하지 않으며 기초 방법들과 계산 비용이 유사하다.