[논문 리뷰] Robust Semantic Segmentation with Superpixel-Mix

Gianni Franchi, Nacim Belkhir외 5명|arXiv (Cornell University)|2021. 08. 02.

Advanced Neural Network Applications참고 문헌 90인용 수 6

한 줄 요약

이 논문은 객체 경계를 유지하면서 모델의 강건성을 향상시키는 초점 영역 기반 데이터 증강 기법인 Superpixel-mix를 제안한다. 초점 영역 기반 혼합과 교사-학생 일致성 훈련을 결합함으로써, Cityscapes에서 준지도 학습 세그멘테이션에서 최신 기술 수준의 성능을 달성하였으며, 분포 이탈 및 오염 상황에서도 정확도, 불확실성 校정, 강건성 측면에서 뚜렷한 향상을 보였다.

ABSTRACT

Along with predictive performance and runtime speed, reliability is a key requirement for real-world semantic segmentation. Reliability encompasses robustness, predictive uncertainty and reduced bias. To improve reliability, we introduce Superpixel-mix, a new superpixel-based data augmentation method with teacher-student consistency training. Unlike other mixing-based augmentation techniques, mixing superpixels between images is aware of object boundaries, while yielding consistent gains in segmentation accuracy. Our proposed technique achieves state-of-the-art results in semi-supervised semantic segmentation on the Cityscapes dataset. Moreover, Superpixel-mix improves the reliability of semantic segmentation by reducing network uncertainty and bias, as confirmed by competitive results under strong distributions shift (adverse weather, image corruptions) and when facing out-of-distribution data.

연구 동기 및 목표

• 분포 이탈, 데이터 오염, 분포 외 입력 상황에서 딥 컨volution 신경망(DCnn)의 세그멘테이션에 대한 강건성 부족 문제 해결.
• 앙상블 또는 다중 순환 전파가 필요 없이 불확실성 추정 및 校정을 향상시켜 모델의 과신과 편향 감소.
• 제한된 레이블 데이터를 가진 저샘플 및 준지도 학습 환경에서 일반화 및 강건성 향상.
• 객체 구조를 존중하고 훈련 중 의미적 통합성을 유지하는 데이터 증강 전략 개발.
• 다양한 교란 및 분포 이탈 상황에서 정확도 및 강건성 지표에서 최신 기술 수준의 성능 달성.

제안 방법

• 객체 수준 세그멘테이션 기반으로 두 이미지 간 초점 영역(유사한 픽셀 집합)을 혼합하여 객체 경계를 유지하는 데이터 증강 기법인 Superpixel-mix 도입.
• Watershed, SLIC, Felzenszwalb 알고리즘을 사용해 초점 영역 세그멘테이션을 수행하여 의미적 구조를 존중하는 혼합 마스크 생성.
• 혼합된 이미지에서 학생 모델이 교사의 예측을 따라가도록 하는 교사-학생 일치성 훈련 프레임워크 적용.
• 초점 영역 수(100~200개/이미지)와 혼합할 초점 영역 비율(최적 0.6)을 조정하여 혼합 과정 최적화.
• 분포 이탈 및 오염을 시뮬레이션하는 혼합 이미지로 훈련하여 일반화 능력 향상으로 강건성 확보.
• 추론 시 단일 순환 전파를 사용해 앙상블 기반 불확실성 추정 방법 대비 계산 효율성 확보.

실험 결과

연구 질문

• RQ1 초점 영역 기반 데이터 증강이 분포 이탈 및 데이터 오염 상황에서 세그멘테이션 강건성 향상에 기여하는가?
• RQ2 기존 혼합 기반 증강 기법 대비 Superpixel-mix가 지식 불확실성 및 애러레이틱 불확실성을 더 잘 줄이는가?
• RQ3 초점 영역 알고리즘 선택(Watershed, SLIC, Felzenszwalb)이 모델 성능 및 강건성에 미치는 영향은 무엇인가?
• RQ4 최소한의 레이블 데이터로 Superpixel-mix가 준지도 세그멘테이션에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 다중 순환 전파 또는 앙상블 추론 없이도 이 방법이 모델의 校정을 향상시키는가?

주요 결과

• 100개의 레이블 이미지(1/30)만으로 Cityscapes에서 54.11% ± 2.88 mIoU를 달성하여 베이스라인 대비 7.27% 향상.
• 372개의 레이블 이미지(1/8)로 63.44% ± 0.88 mIoU 달성하여 베이스라인 대비 8.60% 향상.
• 744개의 레이블 이미지(1/4)로 65.82% ± 1.78 mIoU 달성하여 베이스라인 대비 5.74% 향상.
• 안개가 낀 Cityscapes 및 비 오는 Cityscapes에서 최신 기술 수준의 성능 확보하여 악천후 및 이미지 오염에 대한 뛰어난 강건성 입증.
• 예측 불확실성과 모델 편향을 감소시켜 모든 테스트 데이터 분할 및 교란 유형에서 일관된 성능 향상.
• Watershed 초점 영역 알고리즘이 테스트된 방법들 중에서 가장 높은 mIoU(78.99%) 기록하여 객체 경계에 대한 강한 민감도 입증.