[논문 리뷰] More unlabelled data or label more data? A study on semi-supervised laparoscopic image segmentation

Yunguan Fu, Maria Robu외 7명|arXiv (Cornell University)|2019. 08. 20.

Advanced Neural Network Applications참고 문헌 8인용 수 4

한 줄 요약

이 연구는 평균 교사 프레임워크를 사용하여 복강경 간장 분할을 위한 준지도 학습을 평가하며, 레이블이 없는 데이터를 추가함으로써 더 많은 데이터를 레이블링하는 것과 비교할 만한 분할 정확도를 달성할 수 있음을 보여준다. 실험은 준지도 학습에서 레이블이 없는 데이터를 활용할 경우, 추가적인 레이블 없이도 지도 학습을 초월하는 성능 향상을 정량적으로 입증하며, 임상적 데이터 효율성에 실용적인 트레이드오프를 제공한다.

ABSTRACT

Improving a semi-supervised image segmentation task has the option of adding more unlabelled images, labelling the unlabelled images or combining both, as neither image acquisition nor expert labelling can be considered trivial in most clinical applications. With a laparoscopic liver image segmentation application, we investigate the performance impact by altering the quantities of labelled and unlabelled training data, using a semi-supervised segmentation algorithm based on the mean teacher learning paradigm. We first report a significantly higher segmentation accuracy, compared with supervised learning. Interestingly, this comparison reveals that the training strategy adopted in the semi-supervised algorithm is also responsible for this observed improvement, in addition to the added unlabelled data. We then compare different combinations of labelled and unlabelled data set sizes for training semi-supervised segmentation networks, to provide a quantitative example of the practically useful trade-off between the two data planning strategies in this surgical guidance application.

연구 동기 및 목표

• 레이블이 있는 데이터와 레이블이 없는 데이터의 양을 늘일 때 준지도 학습 기반 복강경 간장 분할 성능에 미치는 영향을 평가하기 위해.
• 레이블이 없는 데이터 추가 효과와 별개로 평균 교사 학습 전략이 성능 향상에 기여하는 정도를 분리하여 평가하기 위해.
• 임상적 준지도 학습 응용 분야에서 데이터 계획 결정을 위한 정량적 근거를 제공하기 위해.
• 실제 외과 영상 환경에서 레이블이 없는 데이터가 더 많은 데이터를 레이블링하는 것과 동일한 성능을 달성할 수 있는지 평가하기 위해.

제안 방법

• 이진 분할을 위해 다중 척도 입력 피라미드와 $L_2$-정규화된 소프트 디스크 손실을 사용하는 U-Net 기반 분할 네트워크를 사용한다.
• 동일한 두 개의 네트워크를 사용하는 평균 교사 프레임워크를 적용한다: 가중치가 학습 가능한 학생 네트워크와 모멘타임 업데이트된 가중치를 갖는 교사 네트워크이다.
• 합성 손실을 적용한다: 레이블이 있는 데이터에 대한 지도 학습 손실 $L_l$ 과 레이블이 없는 데이터에서 학생과 교사 예측 간의 일관성 손실 $L_u$ 를 조합하며, 초모수 $\lambda$ 로 균형을 맞춘다.
• 전체 손실 $L_s = L_l + \lambda L_u$ 를 사용하여 역전파를 통해 학생 네트워크를 학습한다. 여기서 $L_u$ 는 동일한 레이블이 없는 입력에 대한 변형된 시각 간 예측 불일치를 처벌한다.
• 일관성 정규화를 위해 무작위 노이즈 주입 ($\eta$)을 통한 데이터 증강을 적용한다.
• 독립된 테스트 세트에서 레이블이 있는 데이터와 레이블이 없는 데이터의 크기 조합을 다양하게 설정하여 딱도 점수와 하우스도르프 거리로 성능을 평가한다.

실험 결과

연구 질문

• RQ1 평균 교사 프레임워크를 사용한 준지도 학습이 지도 학습에 비해 복강경 간장 분할 정확도를 향상시키는가?
• RQ2 평균 교사 방법의 학습 전략이 레이블이 없는 데이터 추가 외에도 성능 향상에 기여하는 정도는 어느 정도인가?
• RQ3 분할 성능 측면에서 더 많은 레이블이 있는 데이터를 확보하는 것과 더 많은 레이블이 없는 데이터를 확보하는 것 사이의 정량적 트레이드오프는 어떠한가?
• RQ4 대규모 레이블이 없는 데이터로 훈련된 준지도 모델이 더 많은 레이블이 있는 데이터로 훈련된 지도 모델의 성능을 따라잡거나 초월할 수 있는가?

주요 결과

• 평균 교사 모델은 중앙값 딱도 점수 0.9646을 기록하여 지도 학습 베이스라인의 0.9594보다 유의미하게 높았다 (p = 9.27e-28).
• 평균 교사 모델은 경계 정렬 정확도 향상을 보이며 중앙값 하우스도르프 거리를 148.23에서 81.49로 감소시켰다 (p = 4.40e-07).
• 레이블이 없는 데이터가 0개일 때조차도 평균 교사 모델이 지도 학습 모델을 능가했으며, 이는 학습 전략 자체가 성능 향상에 기여함을 시사한다.
• 100%의 레이블이 없는 데이터와 50%의 레이블이 있는 데이터를 사용했을 때, 평균 교사 모델은 100% 레이블이 있는 데이터로 훈련된 지도 학습 모델의 0.9594를 초월하는 딱도 점수 0.9611을 기록했다.
• 레이블이 없는 데이터가 많아질수록 성능이 항상 단조롭게 향상되지는 않았으며, 이는 내적 절차 간 데이터 상관관계 또는 최적화되지 않은 초모수 조정으로 인한 잠재적 간섭을 시사한다.
• 이 결과는 실제 환자 데이터를 기반으로 한 최초의 정량적 증거로서, 레이블이 없는 데이터가 임상 준지도 분할 작업에서 레이블이 있는 데이터를 대체할 수 있음을 제시한다.