[논문 리뷰] Semi-Supervised Semantic Segmentation Using Unreliable Pseudo-Labels

Yuchao Wang, Haochen Wang외 7명|arXiv (Cornell University)|2022. 03. 08.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 신뢰할 수 없는 가짜 레이블을 사용하여 모호한 예측을 덜 가능성 있는 클래스에 대한 음성 샘플로 간주하는 U2PL을 제안한다. 엔트로피를 통해 신뢰할 수 있는 및 불신뢰할 수 있는 픽셀을 분리하고, 음성 샘플을 위한 카테고리별 메모리 백업을 유지하며, 신뢰도 임계값을 적응적으로 조정함으로써 U2PL은 PASCAL VOC 2012 및 Cityscapes에서 최신 기술 수준을 달성하며, 저샷 설정에서 이전 방법보다 최대 2.2% mIoU 향상을 이룬다.

ABSTRACT

The crux of semi-supervised semantic segmentation is to assign adequate pseudo-labels to the pixels of unlabeled images. A common practice is to select the highly confident predictions as the pseudo ground-truth, but it leads to a problem that most pixels may be left unused due to their unreliability. We argue that every pixel matters to the model training, even its prediction is ambiguous. Intuitively, an unreliable prediction may get confused among the top classes (i.e., those with the highest probabilities), however, it should be confident about the pixel not belonging to the remaining classes. Hence, such a pixel can be convincingly treated as a negative sample to those most unlikely categories. Based on this insight, we develop an effective pipeline to make sufficient use of unlabeled data. Concretely, we separate reliable and unreliable pixels via the entropy of predictions, push each unreliable pixel to a category-wise queue that consists of negative samples, and manage to train the model with all candidate pixels. Considering the training evolution, where the prediction becomes more and more accurate, we adaptively adjust the threshold for the reliable-unreliable partition. Experimental results on various benchmarks and training settings demonstrate the superiority of our approach over the state-of-the-art alternatives.

연구 동기 및 목표

• 반독립된 데이터의 활용이 부족한 반감독 세그멘테이션 문제를 해결하기 위해, 특히 저신뢰도 예측을 가진 픽셀을 다루는 것.
• 기존 방법이 신뢰할 수 없는 예측을 기각하는 데서 비롯하는 한계를 극복하여, 클래스 불균형과 부족한 훈련을 방지하는 것.
• 신뢰할 수 없는 예측을 양성 가짜 레이블이 아닌, 덜 가능성 있는 클래스에 대한 음성 신호로 효과적으로 통합하는 프레임워크를 제안하는 것.
• 모호한 영역, 예를 들어 객체 경계와 같은 영역에서 일반화 성능을 향상시키기 위해, 고엔트로피를 가진 픽셀을 포함한 모든 픽셀을 활용하는 것.

제안 방법

• 픽셀 단위의 엔트로피를 사용하여 예측을 신뢰할 수 있는(낮은 엔트로피) 또는 불신뢰할 수 있는(높은 엔트로피)으로 분류함으로써, 고신뢰도 및 모호한 예측을 분리한다.
• 신뢰할 수 있는 예측은 감독 훈련을 위한 양성 가짜 레이블로 사용되며, 불신뢰할 수 있는 예측은 그들의 가장 낮은 확률 클래스에 대한 음성 샘플로 간주된다.
• 각 클래스별로 메모리 백업을 유지하여, 불신뢰할 수 있는 예측을 음성 샘플로 저장함으로써 클래스 표현 균형을 유지하고 대비 학습을 향상시킨다.
• 모델의 신뢰도 변화에 따라 유연하게 신뢰성 있는/불신뢰할 수 있는 분할을 동적으로 조정하는 적응형 임계값 전략을 통해, 강인성과 일반화 능력을 향상시킨다.
• 대비 손실과 카테고리별 메모리 백업을 통합하여 특징의 구분 능력을 향상시키며, 신뢰할 수 있는 및 불신뢰할 수 있는 픽셀을 모두 활용한다.
• 확률 순위 임계값(PRT)과 고엔트로피 필터링을 적용하여 음성 샘플 선택을 정밀하게 조정함으로써, 가장 유의미한 불신뢰할 수 있는 예측만을 사용한다.

Figure 1 : Category-wise performance and statistics on number of pixels with reliable and unreliable predictions. Model is trained using $732$ labeled images on PASCAL VOC 2012 [ 14 ] and evaluated on the remaining $9,850$ images.

실험 결과

연구 질문

• RQ1 기존에 기각되던 신뢰할 수 없는 가짜 레이블이 반감독 세그멘테이션에서 효과적으로 활용될 수 있는가?
• RQ2 잡음이나 편향을 유발하지 않으면서도, 모호한 예측을 유용한 훈련 신호로 전환할 수 있는가?
• RQ3 음성 샘플을 위한 카테고리별 메모리 백업을 유지하면 모델의 일반화 능력 향상과 클래스 불균형 감소에 기여하는가?
• RQ4 예측 엔트로피 기반의 적응형 임계값 전략이 고정 임계값보다 훈련 효율성과 성능 향상에 더 유리한가?
• RQ5 불신뢰할 수 있는 예측을 통합함으로써 객체 경계와 같은 모호한 영역에서의 세그멘테이션 성능 향상이 이루어지는가?

주요 결과

• U2PL은 1/4 파artition 프로토콜 하에서 PASCAL VOC 2012 검증 세트에서 평균 교차율(mIoU) 79.30%를 달성하여 이전 최신 기술 수준의 방법을 뛰어넘었다.
• 제거 실험 결과, 대비 손실, 카테고리별 메모리 백업, 동적 분할 조정, 고엔트로피 필터링을 모두 조합할 경우 기준 모델 대비 6.05% 향상된 성능을 기록하였다.
• 고엔트로피 필터링을 적용하지 않은 경우 성능 향상은 뚜렷이 감소하여 단지 +4.55%에 그치며, 불신뢰할 수 있는 예측을 음성 샘플링 이전에 필터링하는 것이 핵심임을 시사한다.
• 최적의 초기 신뢰성/불신뢰성 분할 비율은 20%의 신뢰성 있는 예측으로 확인되었으며, 다른 비율(예: 10% 또는 40%)은 성능 저하를 초래한다.
• 정성적 결과는 U2PL이 기존 방법이 어려움을 겪는 객체 경계와 같은 모호한 영역에서 세그멘테이션 정확도를 크게 향상시킨다는 것을 보여준다.

Figure 2 : Illustration on unreliable pseudo-labels. (a) Pixel-wise entropy predicted from an unlabeled image, where low-entropy pixels and high-entropy pixels indicate reliable and unreliable predictions, respectively. (b) Pixel-wise pseudo-labels from reliable predictions only , where pixels withi