[논문 리뷰] Semi-supervised Semantic Segmentation with Error Localization Network

Donghyeon Kwon, Suha Kwak|arXiv (Cornell University)|2022. 04. 05.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 반감독 학습 세그멘테이션에서 잘못된 가짜 라벨을 식별하고 제거함으로써 확률적 편향에 대한 강건성을 향상시키는 오류 국소화 네트워크(ELN)를 제안한다. 보조 디코더에서 유도된 다양한 시뮬레이션된 예측 오류를 기반으로 ELN을 훈련시킴으로써, PASCAL VOC 2012와 Cityscapes에서 각각 mIoU 84.55와 82.17의 최신 기술 수준(SOTA) 성능을 달성한다. 이는 저레이블 설정에서의 결과이다.

ABSTRACT

This paper studies semi-supervised learning of semantic segmentation, which assumes that only a small portion of training images are labeled and the others remain unlabeled. The unlabeled images are usually assigned pseudo labels to be used in training, which however often causes the risk of performance degradation due to the confirmation bias towards errors on the pseudo labels. We present a novel method that resolves this chronic issue of pseudo labeling. At the heart of our method lies error localization network (ELN), an auxiliary module that takes an image and its segmentation prediction as input and identifies pixels whose pseudo labels are likely to be wrong. ELN enables semi-supervised learning to be robust against inaccurate pseudo labels by disregarding label noises during training and can be naturally integrated with self-training and contrastive learning. Moreover, we introduce a new learning strategy for ELN that simulates plausible and diverse segmentation errors during training of ELN to enhance its generalization. Our method is evaluated on PASCAL VOC 2012 and Cityscapes, where it outperforms all existing methods in every evaluation setting.

연구 동기 및 목표

• 비정상적인 가짜 라벨로 인해 발생하는 반감독 세그멘테이션 성능 저하 문제를 해결한다.
• 제한된 라벨 데이터에서 과적합되는 경향이 있는 기존 오류 보정 네트워크(ECNs)의 일반화 능력 부족 문제를 해결한다.
• 오류 보정이 아닌 오류 국소화에 초점을 맞춤으로써, 더 강건하고 일반화 능력이 뛰어난 오류 처리 방법을 개발한다.
• 오류 국소화 모듈의 일반화 능력을 향상시키기 위해 훈련 중에 다양한 실제적인 세그멘테이션 오류를 시뮬레이션한다.

제안 방법

• 오류 국소화 네트워크(ELN)를 도입하며, 이는 비라벨 이미지에서 잘못된 가짜 라벨을 가진 픽셀을 식별하는 이진 세그멘테이션 헤드이다.
• 주 세그멘테이션 네트워크에 부착된 다수의 보조 디코더에서 유도된 예측을 사용하여 ELN을 훈련한다. 각 보조 디코더는 다른 정확도 수준으로 훈련되어 훈련 단계의 다양한 시점에서 오류를 시뮬레이션한다.
• 이러한 보조 디코더의 예측을 ELN의 입력으로 사용함으로써, 다양한 현실적인 세그멘테이션 오류를 탐지할 수 있도록 학습시킨다.
• ELN을 자기 훈련 및 대비 학습 프레임워크에 통합한다: 훈련 중에 ELN은 고불확실성 또는 잘못된 가짜 라벨을 걸러내어 모델의 강건성을 향상시킨다.
• 가짜 라벨 생성을 안정화하기 위해 교사 네트워크에 지수이동평균(EMA) 업데이트 규칙을 적용한다.
• 학생 네트워크를 병합 손실 함수로 최적화한다: 필터링된 가짜 라벨에 대한 표준 교차 엔트로피 손실과 학생 및 교사 네트워크의 특징을 일치시키는 픽셀 단위의 대비 손실을 결합한다.

실험 결과

연구 질문

• RQ1 특화된 오류 국소화 모듈이 노이즈가 있는 가짜 라벨로 인한 확률적 편향에 대한 반감독 세그멘테이션의 강건성을 향상시킬 수 있는가?
• RQ2 ELN 훈련 중에 다양한 현실적인 예측 오류를 시뮬레이션하면, 미리 보지 않은 비라벨 데이터로의 일반화 능력이 향상되는가?
• RQ3 저레이블 환경에서 기존 오류 보정 네트워크(ECNs)와 비교해 ELN의 성능과 일반화 능력은 어떠한가?
• RQ4 자기 훈련과 대비 학습을 모두 조합한 ELN의 영향은 모델 정확도와 강건성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 1/20 라벨 데이터 설정에서 PASCAL VOC 2012에서 평균 교차율(mIoU) 84.55를 기록하며 최신 기술 수준의 성능을 달성한다.
• Cityscapes에서는 1/8 라벨 데이터 설정에서 mIoU 82.17을 기록하며 이전 모든 방법을 능가한다.
• 제거 분석 결과, 단 두 개의 보조 디코더만 추가해도 mIoU가 69.89에서 70.52로 향상되어 시뮬레이션된 오류 다양성이 효과적임을 입증한다.
• 가짜 라벨 손실과 대비 손실을 모두 조합하면 최고의 성능(71.13 mIoU)을 기록하여 두 학습 신호의 상호보완적 이점이 확인된다.
• ELN은 잘못된 예측의 영향을 크게 감소시킨다: 정성적 결과에서는 흰색 오류가 제거된 필터링된 예측이 원본 가짜 라벨보다 훨씬 정확함을 보여준다.
• 손동작 조정이 필요한 수동 설정 기반 신뢰도 필터링보다는, 하이퍼파rameter 민감도 없이 종단 간 오류 탐지를 학습함으로써 성능이 뛰어나다.