[논문 리뷰] Structured Consistency Loss for semi-supervised semantic segmentation

JongMok Kim, Joo Young Jang외 2명|arXiv (Cornell University)|2020. 01. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 47

한 줄 요약

논문은 inter-pixel 상관관계를 고려한 구조적 일관성 손실을 도입하여 semi-supervised 의미 분할의 성능을 향상시키고, CutMix와 함께 효율성을 높여 Cityscapes 벤치마크에서 최상위 결과를 달성한다.

ABSTRACT

The consistency loss has played a key role in solving problems in recent studies on semi-supervised learning. Yet extant studies with the consistency loss are limited to its application to classification tasks; extant studies on semi-supervised semantic segmentation rely on pixel-wise classification, which does not reflect the structured nature of characteristics in prediction. We propose a structured consistency loss to address this limitation of extant studies. Structured consistency loss promotes consistency in inter-pixel similarity between teacher and student networks. Specifically, collaboration with CutMix optimizes the efficient performance of semi-supervised semantic segmentation with structured consistency loss by reducing computational burden dramatically. The superiority of proposed method is verified with the Cityscapes; The Cityscapes benchmark results with validation and with test data are 81.9 mIoU and 83.84 mIoU respectively. This ranks the first place on the pixel-level semantic labeling task of Cityscapes benchmark suite. To the best of our knowledge, we are the first to present the superiority of state-of-the-art semi-supervised learning in semantic segmentation.

연구 동기 및 목표

• semi-supervised 의미 분할을 inter-pixel 상관관계를 활용한 일관성 손실로 동기화한다.
• 픽셀 단위 분할의 계산 효율성을 개선하기 위한 구조적 일관성 손실을 도입한다.
• Cityscapes 검증 및 테스트 세트에서 최첨단 성능을 입증한다.
• Cityscapes 벤치마크에서 픽셀 수준 의미 라벨링으로 1위를 차지한다.

제안 방법

• matched 픽셀 페어뿐만 아니라 inter-pixel 관계를 모델링하는 구조적 일관성 손실을 제안한다.
• 손실을 CutMix와 통합하여 계산 복잡도를 줄인다.
• sem-의 의미 분할 학습의 효율성과 효과를 향상시키는 것을 목표로 한다.
• Cityscapes 벤치마크 데이터(검증 및 테스트)에서 보고된 mIoU 점수로 실증적 이득을 보여준다.

실험 결과

연구 질문

• RQ1 inter-pixel 관계를 포착하는 구조적 일관성 손실이 semi-supervised 의미 분할 성능을 향상시킬 수 있는가?
• RQ2 제안된 손실을 CutMix와 결합하면 정확도를 유지하거나 향상시키면서 계산 복잡도를 줄일 수 있는가?
• RQ3 제안 방법이 semi-supervised 설정에서 Cityscapes 벤치마크 지표에 미치는 영향은 무엇인가?

주요 결과

• Cityscapes 검증 데이터에서 81.9 mIoU를 달성했다.
• Cityscapes 테스트 데이터에서 83.84 mIoU를 달성했다.