[논문 리뷰] Deep Co-Training for Semi-Supervised Image Segmentation

Jizong Peng, Guillermo Estrada외 2명|arXiv (Cornell University)|2019. 03. 27.

Advanced Neural Network Applications참고 문헌 53인용 수 12

한 줄 요약

이 논문은 레이블이 부여된 데이터와 레이블이 없는 이미지를 함께 사용하여 두 개의 딥 세그멘테이션 모델을 공동으로 훈련시키는 딥 적대적 공훈련 프레임워크를 제안한다. 이 과정에서 적대적 예제를 통해 다양성을 강제한다. 이 방법은 모델 간 일치성과 통제된 예측 분리도를 활용하여 의료 영상 세그멘테이션 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we aim to improve the performance of semantic image segmentation in a semi-supervised setting in which training is effectuated with a reduced set of annotated images and additional non-annotated images. We present a method based on an ensemble of deep segmentation models. Each model is trained on a subset of the annotated data, and uses the non-annotated images to exchange information with the other models, similar to co-training. Even if each model learns on the same non-annotated images, diversity is preserved with the use of adversarial samples. Our results show that this ability to simultaneously train models, which exchange knowledge while preserving diversity, leads to state-of-the-art results on two challenging medical image datasets.

연구 동기 및 목표

• 수동으로 레이블링하는 데 시간과 비용이 많이 들기 때문에, 세그멘테이션에서 레이블이 부족한 의료 영상 문제를 해결한다.
• 작은 수의 레이블이 부여된 이미지와 함께 많은 수의 레이블이 없는 이미지를 효과적으로 활용하여 반감성 설정에서의 세그멘테이션 성능을 향상시킨다.
• 기존의 반감성 방법의 한계를 극복하기 위해 밀도 있는 예측 작업인 이미지 세그멘테이션에 특화된 공훈련 프레임워크를 도입한다.
• 사전 정의된 상보적인 시각에 의존하지 않고, 적대적 예제를 통해 모델 간 이질성을 강제한다.
• 모델 간 일치성(co-training)과 다양성 정규화의 조합이 벤치마크 데이터셋에서 일반화 능력과 성능 향상에 기여하는지 입증한다.

제안 방법

• 레이블이 부여된 이미지의 공통 세트와 더 큰 수의 레이블이 없는 이미지를 사용하여 두 개의 딥 완전 컨volution 신경망(FCNs)을 동시에 훈련시킨다.
• 레이블이 없는 이미지에 대한 예측에서 두 모델 간 일치를 유도하기 위해 공훈련 손실($\mathcal{L}_{\mathrm{cot}}$)을 사용하여 일반화 능력을 향상시킨다.
• 레이블이 있는 데이터와 레이블이 없는 데이터에서 생성된 적대적 예제에 대해 예측 일치도를 최소화함으로써 적대적 다양성 손실($\mathcal{L}_{\mathrm{div}}$)을 통해 모델 다양성을 강제한다.
• 원본 이미지에 가까운데도 예측 불일치를 유도하는 작은 변형 $\epsilon$ (예: $\epsilon = 0.001$)을 사용하여 적대적 예제를 생성한다.
• 초기에는 지도 학습 손실($\mathcal{L}_{\mathrm{sup}}$)을 우선시하고 점차 공훈련 손실과 다양성 손실과 균형을 이루는 램프업 전략을 훈련 중에 적용한다.
• 경계 영역과 심장판 등 어려운 세그멘테이션 영역에서 예측 불일치를 측정하고 시각화하기 위해 $L_1$ 노름을 사용한다.

실험 결과

연구 질문

• RQ1 분류 작업에서의 공훈련이 밀도 있는 예측 작업인 세그멘테이션으로 효과적으로 확장될 수 있는가?
• RQ2 사전 정의된 상보적인 시각에 의존하지 않고 반감성 세그멘테이션 프레임워크에서 모델 다양성을 효과적으로 강제할 수 있는가?
• RQ3 적대적 예제의 사용이 청소된 데이터에서의 모델 일치성과 변형된 입력에서의 다양성 정규화에 영향을 미치는가?
• RQ4 공훈련과 다양성 정규화의 조합이 Pseudo Label, VAT, Mean Teacher와 같은 기존 최신 기술 수준의 반감성 방법보다 어떻게 비교되는가?
• RQ5 앙상블에 포함된 모델 수가 성능에 미치는 영향은 어느 정도이며, 두 개의 모델을 초과하면 성능 향상에 한계가 있는가?

주요 결과

• 제안된 방법은 Pseudo Label, VAT, Mean Teacher와 같은 최근 최신 기술 수준의 반감성 세그멘테이션 방법보다 두 개의 도전적인 의료 영상 세그멘테이션 벤치마크에서 뛰어난 성능을 달성한다.
• ACDC 데이터셋에서 이 방법은 왼쪽 심실의 딱지 유사도 계수(DSC)를 0.876로 달성하여 기준 방법보다 뚜렷이 향상시켰다.
• 다양성 손실($\mathcal{L}_{\mathrm{div}}$)은 이미지 경계와 왼쪽 심실 심장판, 오른쪽 심실 내막과 같이 세그멘테이션하기 어려운 영역에서 예측 불일치를 효과적으로 유도한다.
• 적용된 $\epsilon = 0.001$로 생성된 적대적 예제는 모델 간 예측 불일치를 성공적으로 유도하여 다양성 강제의 역할을 확인한다.
• 손실 가중치에 대한 램프업 전략은 훈련 안정성과 성능 향상에 기여하지만, 하이퍼파ram터 조정이 여전히 필요하다.
• 두 개의 모델을 초과하여 모델 수를 늘여도 성능 향상이 제한적이므로, 단지 두 개의 모델로도 다양성 메커니즘이 효과적으로 작용함을 시사한다.