[논문 리뷰] Semi-Supervised Semantic Segmentation with Cross Pseudo Supervision

Xiaokang Chen, Yuhui Yuan외 2명|arXiv (Cornell University)|2021. 06. 02.

Advanced Neural Network Applications참고 문헌 38인용 수 59

한 줄 요약

교차 의사 감독(CPS)을 도입하여 서로 독립적으로 초기화된 두 개의 세그먼테이션 네트워크를 비라벨 데이터에서 상호 의사 라벨로 학습시키고, Cityscapes 및 PASCAL VOC 2012에서 최첨단 반지도 학습 세그멘테이션을 달성한다.

ABSTRACT

In this paper, we study the semi-supervised semantic segmentation problem via exploring both labeled data and extra unlabeled data. We propose a novel consistency regularization approach, called cross pseudo supervision (CPS). Our approach imposes the consistency on two segmentation networks perturbed with different initialization for the same input image. The pseudo one-hot label map, output from one perturbed segmentation network, is used to supervise the other segmentation network with the standard cross-entropy loss, and vice versa. The CPS consistency has two roles: encourage high similarity between the predictions of two perturbed networks for the same input image, and expand training data by using the unlabeled data with pseudo labels. Experiment results show that our approach achieves the state-of-the-art semi-supervised segmentation performance on Cityscapes and PASCAL VOC 2012. Code is available at https://git.io/CPS.

연구 동기 및 목표

• 레이블이 있는 데이터와 레이블이 없는 데이터를 함께 활용한 반지도 의미론적 세그멘테이션의 동기를 부여한다.
• 두 개의 독립적으로 초기화된 네트워크 간의 교차 의사 감독을 통한 간단한 일관성 규제(regularization)를 제안한다.
• 교차 감독이 네트워크 간 일관성을 강제하는 동시에 의사 라벨이 있는 효과적 학습 데이터를 확장함을 보인다.
• 다양한 레이블링/비레이블링 분할 하에서 Cityscapes 및 PASCAL VOC 2012에서 최첨단 성능을 보여준다.

제안 방법

• 구조가 동일하지만 초기화가 다른 두 개의 세그먼테이션 네트워크가 동일한 입력을 처리한다.
• 각 네트워크는 확률/신뢰도 맵을 출력하며, 이 출력으로부터 원-핫 의사 세그먼트 맵이 도출된다.
• 교차 의사 감독 손실은 피어 네트워크의 의사 라벨을 사용하여 다른 네트워크를 양방향으로 감독한다.
• 손실은 레이블링 데이터에 대한 표준 감독 항과 레이블링 및 비레이블링 데이터 모두에 대한 교차 의사 감독 항으로 구성된다 (L = Ls + lambda * Lcps).
• 학습을 위해 혼합 입력과 해당 혼합 의사 라벨을 생성하는 CutMix 증강을 도입한다.
• 교차 확률 일관성, mean-teacher, 단일 네트워크 의사 감독 등의 비교 가능한 변형들을 논의한다.

Figure 1: Illustrating the architectures for (a) our approach cross pseudo supervision, (b) cross confidence consistency (e.g., a component of GCT [ 17 ] ), (c) mean teacher (used in CutMix-Seg [ 11 ] ), and (d) PseudoSeg [ 44 ] structure (similar to FixMatch [ 28 ] ). ‘ $\rightarrow$ ’ means forwar

실험 결과

연구 질문

• RQ1 두 개의 독립적으로 초기화된 세그먼테이션 네트워크가 상호 감독하는 의사 라벨을 제공하여 반지도 의미론적 세그멘테이션을 개선할 수 있는가?
• RQ2 교차 의사 감독이 기존의 일관성 기반 또는 자기 학습 방법을 표준 벤치마크에서 능가하는가?
• RQ3 레이블링 데이터에 대한 교차 의사 감독 적용과 비레이블링 데이터에 대한 적용의 영향은 무엇이며, CutMix 증강의 효과는 어떠한가?
• RQ4 CPS가 자기 학습과 어떻게 상호 작용하며, 이들의 결합이 성능을 더 향상시킬 수 있는가?

주요 결과

• CPS는 다양한 레이블링 비율에서 Cityscapes 및 PASCAL VOC 2012에서 감독 학습 기준선을 지속적으로 개선한다.
• 비레이블링 데이터에 교차 의사 감독을 적용하면 레이블링 데이터에만 적용하는 것보다 더 큰 이득이 있다.
• 제시된 실험에서 CPS는 교차 확률 일관성 및 mean-teacher 기준선을 능가한다.
• CutMix 증강은 CPS를 강화하며, 레이블 데이터가 적을수록 더 큰 이득이 있다.
• CPS를 자기 학습과 결합하면 각각의 방법보다 더 큰 향상을 얻는다.
• 완전 감독하에서도 CPS는 학습에서 비레이블링 데이터로부터 이점을 얻을 수 있다.

Figure 6: Example qualitative results from PASCAL VOC $2012$ . (a) input, (b) ground truth, (c) supervised only, (d) ours (w/o CutMix Aug.), and (e) ours (w/ CutMix Aug.). All the approaches use DeepLabv $3$ + with ResNet- $101$ as the segmentation network.