[논문 리뷰] Semi-Supervised Semantic Segmentation via Marginal Contextual Information

Moshe Kimhi, Shai Kimhi외 3명|arXiv (Cornell University)|2023. 08. 26.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 S4MC를 제안하며, 이는 이웃 픽셀에 대한 사고적 정보를 통합한 이벤트-유니온 확률을 활용해 의사 레이블 신뢰도를 개선하는 준지도 학습 세그멘테이션 방법이다. 근접한 픽셀을 그룹화하고 집단 레이블 신뢰도를 바탕으로 유연한 필터링 기준을 적용함으로써 S4MC는 훈련에 사용되는 신뢰할 수 있는 미라벨링 샘플 수를 늘리며, 최소한의 계산 오버헤드로 최신 기술 수준의 성능을 달성한다. PASCAL VOC 12에서 라벨이 366개 뿐인 조건에서도 mIoU를 1.29 향상시킨다.

ABSTRACT

We present a novel confidence refinement scheme that enhances pseudo labels in semi-supervised semantic segmentation. Unlike existing methods, which filter pixels with low-confidence predictions in isolation, our approach leverages the spatial correlation of labels in segmentation maps by grouping neighboring pixels and considering their pseudo labels collectively. With this contextual information, our method, named S4MC, increases the amount of unlabeled data used during training while maintaining the quality of the pseudo labels, all with negligible computational overhead. Through extensive experiments on standard benchmarks, we demonstrate that S4MC outperforms existing state-of-the-art semi-supervised learning approaches, offering a promising solution for reducing the cost of acquiring dense annotations. For example, S4MC achieves a 1.39 mIoU improvement over the prior art on PASCAL VOC 12 with 366 annotated images. The code to reproduce our experiments is available at https://s4mcontext.github.io/

연구 동기 및 목표

• 세그멘테이션의 높은 레이블링 비용 문제를 해결하기 위해 준지도 학습에서 의사 레이블의 품질과 활용도를 향상시키는 것.
• 고립된 높은 신뢰도 예측에 대한 의존도를 줄이기 위해 공간적 맥락을 통합함으로써 의사 레이블링의 확증 편향을 완화하는 것.
• 레이블 품질을 떨어뜨리지 않으면서도 훈련 중 사용 가능한 미라벨링 샘플 수를 늘리는 것.
• 백본 또는 훈련 파이프라인을 수정하지 않고도 높은 성능 유지를 유지하면서도 최소한의 계산 오버헤드로 작동하는 경량이고 효율적인 방법을 개발하는 것.
• 낮은 샘플 수 설정에서 표준 벤치마크인 PASCAL VOC 12와 Cityscapes에서 최신 기술 수준의 성능을 입증하는 것.

제안 방법

• S4MC는 근접한 픽셀을 그룹화하여, 주어진 클래스에 속할 가능성이 적어도 한 픽셀 이상의 국소적 이웃에서 발생할 확률인 이벤트-유니온 확률을 계산하는 신뢰도 개선 기법을 도입한다.
• 특정 클래스에 대해 이벤트-유니온 확률이 다른 모든 클래스보다 현저히 높을 경우 픽셀에 의사 레이블을 할당하며, 이는 개별 픽셀의 신뢰도 임계값보다 더 유연한 필터링 기준을 가능하게 한다.
• 초기 분위수(α₀)를 기반으로 동적 임계값을 사용하며, 40%가 라벨 전파와 오류 억제 사이의 균형을 가장 잘 맞추는 것으로 밝혀졌다.
• 이웃 영역은 고정 크기 커널(예: 3×3)을 사용해 정의되며, 그룹 내에서 예측된 클래스 확률이 가장 높은 픽셀을 선택함으로써 이웃 선택을 최적화한다.
• 이 방법은 FixMatch 및 CutMix-Seg와 같은 기존 SSL 프레임워크에 통합되어, 백본이나 훈련 파이프라인을 수정하지 않고도 의사 레이블 품질을 향상시킨다.
• 최소한의 계산 오버헤드로 작동하므로 실세계 적용에 실용적이다.

실험 결과

연구 질문

• RQ1 세그멘테이션 맵에서 공간적 맥락을 활용해 준지도 학습에서 의사 레이블의 신뢰도를 향상시킬 수 있는가?
• RQ2 이웃 픽셀 간의 집단적 신뢰도 평가가 고립된 픽셀 필터링보다 확증 편향을 줄이는가?
• RQ3 이벤트-유니온 확률 기반의 유연한 필터링 기준이 모델 성능을 떨어뜨리지 않으면서도 사용 가능한 미라벨링 샘플 수를 늘릴 수 있는가?
• RQ4 이웃 영역 크기와 이웃 선택 전략의 선택이 최종 세그멘테이션 정확도에 어떤 영향을 미치는가?
• RQ5 맥락 기반의 신뢰도 개선이 낮은 샘플 수 설정에서 준지도 세그멘테이션 벤치마크에서 성능을 얼마나 향상시킬 수 있는가?

주요 결과

• S4MC는 라벨이 366개 뿐인 조건에서 PASCAL VOC 12에서 기존 최신 기술 수준의 방법보다 mIoU를 1.29 향상시키며, 낮은 데이터 환경에서도 뛰어난 성능을 보였다.
• Cityscapes에서는 라벨이 186개 뿐인 조건에서 +1.01 mIoU 향상을 달성하여, 다양한 데이터셋에 걸쳐 효과적임을 확인했다.
• 아우트레이션 연구에서 최적의 이웃 영역 크기는 3×3이며, 그룹 내에서 클래스 확률이 가장 높은 픽셀 하나를 선택하는 것이 가장 높은 성능을 냈다.
• 초기 신뢰도 임계값 α₀ = 40%가 라벨 커버리지와 오류 억제 사이의 최적 균형을 이룬 것으로 나타나, 낮거나 높은 값보다 우수한 성능을 보였다.
• 의사 레이블 개선(PLR) 모듈만으로도 mIoU가 1.09% 향상되었지만, 동적 파artition 조정(DPA) 모듈만으로는 성능이 저하되어, 공간적 일관성이 향상의 핵심 요인임을 시사했다.
• 추론 시점에 S4MC를 적용했을 경우 성능 향상이 거의 없었으며(85.7에서 85.71 mIoU로), 주로 훈련 시점의 레이블 개선에서 이점이 발생함을 확인했다.