[논문 리뷰] SegMatch: A semi-supervised learning method for surgical instrument segmentation

Wei Meng, Charlie Budd외 4명|arXiv (Cornell University)|2023. 08. 09.

Medical Imaging and Analysis인용 수 4

한 줄 요약

SegMatch는 고정된 강력한 증강 기법을 대체하는 학습 가능한 적대적 증강 전략을 통해 FixMatch를 조정하여 밀도 높은 예측 작업에 적합한 준지도 학습 프레임워크를 제안한다. 이는 동치성 불변 증강 기법과 I-FGSM 기반의 학습 가능한 적대적 증강 전략을 통합한다. 이는 Robust-MIS 2019 및 EndoVis 2017에서 기존의 완전히 지도 학습 기반 모델들을 능가하며, 레이블이 부여된 데이터의 30%와 17,000장의 레이블이 없는 이미지만을 사용하여 최신 성능을 달성한다.

ABSTRACT

Surgical instrument segmentation is recognised as a key enabler in providing advanced surgical assistance and improving computer-assisted interventions. In this work, we propose SegMatch, a semi-supervised learning method to reduce the need for expensive annotation for laparoscopic and robotic surgical images. SegMatch builds on FixMatch, a widespread semi supervised classification pipeline combining consistency regularization and pseudo-labelling, and adapts it for the purpose of segmentation. In our proposed SegMatch, the unlabelled images are first weakly augmented and fed to the segmentation model to generate pseudo-labels. In parallel, images are fed to a strong augmentation branch and consistency between the branches is used as an unsupervised loss. To increase the relevance of our strong augmentations, we depart from using only handcrafted augmentations and introduce a trainable adversarial augmentation strategy. Our FixMatch adaptation for segmentation tasks further includes carefully considering the equivariance and invariance properties of the augmentation functions we rely on. For binary segmentation tasks, our algorithm was evaluated on the MICCAI Instrument Segmentation Challenge datasets, Robust-MIS 2019 and EndoVis 2017. For multi-class segmentation tasks, we relied on the recent CholecInstanceSeg dataset. Our results show that SegMatch outperforms fully-supervised approaches by incorporating unlabelled data, and surpasses a range of state-of-the-art semi-supervised models across different labelled to unlabelled data ratios.

연구 동기 및 목표

• 수술 기구 세그멘테이션에서 비용이 많이 드는 수동 레이블링에 대한 의존도를 줄이기 위해, 라파로스코픽 및 로봇 수술 영상에서 레이블이 없는 이미지를 활용한다.
• 고정된 강력한 증강 기법을 사용하는 준지도 학습 분류 프레임워크인 FixMatch를 세그멘테이션 작업에 적응시키며, 공간적 및 광학적 변형에 대한 동치성과 불변성을 고려한다.
• 고정된 수작업 강력 증강 기법을 학습 가능한 적대적 증강 전략으로 대체하여 일반화 능력과 성능을 향상시킨다.
• 선택적 레이블이 없는 데이터를 활용한 준지도 학습이 저데이터 환경에서 완전히 지도 학습 기반 모델을 초월할 수 있음을 입증한다.

제안 방법

• 약한 증강(예: 반전, 회전 등)을 적용한 하나의 브랜치에서 가짜 레이블을 생성하고, 일致성 정규화를 위해 강력한 증강을 적용한 다른 브랜치를 사용하는 FixMatch의 이중 브랜치 학습을 적응한다.
• 공간적 변형(예: 회전, 반전)을 적용하고, 이를 역변환하여 세그멘테이션 마스크의 일致성을 유지함으로써 동치성 보장을 확보한다.
• 모델의 강건성을 유도하기 위해 반복적 빠른 기울기 부호 방법(I-FGSM)을 학습 가능한 강력한 증강 기법으로 도입하여 적대적 예제를 생성한다.
• 약한 증강 처리 결과에서 높은 신뢰도를 가진 픽셀을 선택하여 가짜 레이블로 사용하고, 이를 강력한 증강 처리된 출력과의 일致성 손실 최소화를 위해 활용한다.
• 기구의 무결성을 유지하면서 일반화 능력을 향상시키기 위해 적대적 편향을 ϵ-근접 영역 내로 제한한다.
• 레이블이 있는 데이터와 없는 데이터를 혼합한 배치에서 공유된 인코더-디코더 백본을 학습시키며, 가짜 레이블과 강력한 증강된 예측 간의 일치 손실을 최소화한다.

Figure 1: Representative sample images from Robust-MIS 2019 of laparoscopic surgery (left) and state-of-the-art instrument segmentation results (right). True positive (yellow), true negative (black), false positive (purple), and false negative (red).

실험 결과

연구 질문

• RQ1 FixMatch에서 유도된 준지도 학습 프레임워크가 완전히 지도 학습 기반 모델보다 수술 기구 세그멘테이션에서 뛰어난 성능을 달성할 수 있는가?
• RQ2 증강 기법의 동치성 및 불변성 특성이 수술 영상 분석에서 세그멘테이션 성능에 미치는 영향은 어떠한가?
• RQ3 학습 가능한 적대적 증강 전략이 고정된 수작업 강력 증강 기법을 초월하여 모델의 일반화 능력을 향상시키는가?
• RQ4 저데이터 환경에서 높은 세그멘테이션 정확도를 달성하기 위해 레이블이 있는 데이터와 없는 데이터 사이의 최적의 균형 비율은 무엇인가?

주요 결과

• SegMatch는 레이블이 있는 데이터 30%만(1,794장)을 사용하고 17,000장의 레이블이 없는 이미지를 활용하여 Robust-MIS 2019에서 평균 Dice 점수 84.9를 기록하며, 완전히 지도 학습 기반 모델을 능가했다.
• 다양한 레이블-비레이블 데이터 비율에서 최신 준지도 학습 세그멘테이션 모델들을 초월했으며, 특히 1:9 및 3:7 비율에서 뚜렷한 성능 향상을 보였다.
• I-FGSM을 K=50회 반복하고 ε=0.08로 설정했을 때 성능이 최고로 나타났으며, 이는 반복적 적대적 증강이 강건성을 향상시킨다는 것을 시사한다.
• ε ≈ 0.08에서 성능이 최고에 이르렀고, 이를 초과하면 성능 저하가 발생함으로써 편향 강도와 모델 안정성 사이의 상충 관계를 확인했다.
• I-FGSM은 단일 단계 공격(예: FGSM, C&W)보다 성능이 뛰어나며 FGSM보다도 더 높은 성공률을 보였지만, 최적의 ε를 초과하면 더 급격하게 성능 저하가 발생했다.
• 적대적 증강을 도입함으로써 특히 저데이터 환경에서 세그멘테이션의 일관성과 일반화 능력이 크게 향상되었다.

Figure 2: SegMatch training process structure. The top row is the fully supervised pathway which follows the traditional segmentation model training process. The two bottom rows form the unsupervised learning pathway, where one branch uses a weakly augmented image fed into the model to compute predi