[논문 리뷰] UCC: Uncertainty guided Cross-head Co-training for Semi-Supervised Semantic Segmentation

Jiashuo Fan, Bin Gao외 2명|arXiv (Cornell University)|2022. 05. 20.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 일관성과 자기학습을 향상시키기 위해 불확실성 유도형 크로스헤드 공훈련과 약한 및 강한 데이터 증강을 통합한 새로운 준지도 학습 세그멘테이션 프레임워크인 UCC를 제안한다. 동적 크로스세트 복사-붙여넣기(DCSCP)를 통해 데이터 다양성을 확보하고, 노이즈가 있는 가짜 라벨을 억제하기 위해 불확실성 유도 재가중 모듈(UGRM)을 활용함으로써 UCC는 최신 기술 수준(SoTA)의 성능을 달성하여, 1/16 라벨 데이터 프로토콜 하에서 Cityscapes에서 77.17% mIoU, PASCAL VOC 2012에서 76.49%를 기록한다.

ABSTRACT

Deep neural networks (DNNs) have witnessed great successes in semantic segmentation, which requires a large number of labeled data for training. We present a novel learning framework called Uncertainty guided Cross-head Co-training (UCC) for semi-supervised semantic segmentation. Our framework introduces weak and strong augmentations within a shared encoder to achieve co-training, which naturally combines the benefits of consistency and self-training. Every segmentation head interacts with its peers and, the weak augmentation result is used for supervising the strong. The consistency training samples' diversity can be boosted by Dynamic Cross-Set Copy-Paste (DCSCP), which also alleviates the distribution mismatch and class imbalance problems. Moreover, our proposed Uncertainty Guided Re-weight Module (UGRM) enhances the self-training pseudo labels by suppressing the effect of the low-quality pseudo labels from its peer via modeling uncertainty. Extensive experiments on Cityscapes and PASCAL VOC 2012 demonstrate the effectiveness of our UCC. Our approach significantly outperforms other state-of-the-art semi-supervised semantic segmentation methods. It achieves 77.17$\%$, 76.49$\%$ mIoU on Cityscapes and PASCAL VOC 2012 datasets respectively under 1/16 protocols, which are +10.1$\%$, +7.91$\%$ better than the supervised baseline.

연구 동기 및 목표

• 일관성 정규화와 자기학습의 한계를 보완하기 위해 그들의 강점을 융합함으로써 준지도 학습 세그멘테이션 성능을 향상시키는 것.
• 자기학습 과정에서 가짜 라벨의 노이즈 누적을 불확실성 인식 재가중 기법을 통해 감소시키는 것.
• 동적이고 크로스세트 기반의 복사-붙여넣기 전략을 통해 학습 샘플의 다양성을 향상시키고 분포 불일치 및 클래스 불균형 문제를 완화하는 것.
• 공유 인코더와 이중 증강 시각을 통해 다중 세그멘테이션 헤드 간 효과적인 공훈련을 가능하게 하는 것.

제안 방법

• 공유 인코더를 갖춘 크로스헤드 공훈련 프레임워크를 도입하여, 각 헤드가 약한 및 강한 증강을 통해 일관된 예측을 생성하도록 하는 것.
• 라벨이 부여된 세트와 라벨이 없는 세트에서 모두 복사하여 다양한 변형된 학습 샘플을 생성함으로써 데이터 다양성을 높이는 동적 크로스세트 복사-붙여넣기(DCSCP)를 적용하는 것.
• 동료 헤드에서 생성된 낮은 신뢰도의 가짜 라벨을 동적으로 재가중하여 노이즈를 감소시키는 불확실성 유도 재가중 모듈(UGRM)을 적용하는 것.
• 약한 증강 예측 결과를 강한 증강 출력의 지도 신호로 활용하여 일관성과 일반화 성능을 향상시키는 것.
• 학습 가능한 트레이드오프 하이퍼파rameter λ를 통해 지도 및 비지도 손실을 균형 잡고, 경험적으로 최적화하는 것.
• 다중 시각 학습을 통해 특징의 밀도 향상과 일반화 성능 향상을 위해 헤드 간 공유 표현을 활용하는 것.

Figure 1 : Overview of our Uncertainty guided Cross-head Co-training. In our scheme, we use $head_{1}$ as an example, weakly augmented label data will flow through a shared module and corresponding segmentation $head_{1}$ to generate ${Pred}_{{1,weak}^{{}^{\prime}}}$ , then it will be supervised by

실험 결과

연구 질문

• RQ1 약한 및 강한 증강을 크로스헤드 공훈련 프레임워크 내에서 융합함으로써 기존의 일관성 학습을 초월한 준지도 학습 세그멘테이션 성능 향상을 달성할 수 있는가?
• RQ2 준지도 학습에서 분포 불일치 및 클래스 불균형 문제를 해결하면서 데이터 증강의 다양성을 어떻게 향상시킬 수 있는가?
• RQ3 자기학습 과정에서 동료 헤드의 노이즈가 많은 가짜 라벨을 불확실성 모델링을 통해 효과적으로 억제할 수 있는가?
• RQ4 공유 인코더를 갖춘 크로스헤드 공훈련이 전통적인 크로스모델 공훈련에 비해 성능 및 일반화 능력 측면에서 뛰어나게 되는가?

주요 결과

• 1/16 라벨 데이터 프로토콜 하에서 Cityscapes에서 UCC는 77.17% mIoU를 기록하여 지도 학습 기반 모델 대비 +10.1% 향상된 성능을 달성한다.
• 동일한 프로토콜 하에서 PASCAL VOC 2012에서 UCC는 76.49% mIoU를 기록하여 지도 학습 기반 모델 대비 +7.91% 향상된 성능을 달성한다.
• 제거 실험 결과, 강한 증강에 의존하는 것보다 약한 증강 예측 결과를 지도 신호로 활용할 경우 성능이 1.69% 향상됨을 확인하였다.
• DCSCP는 기본 복사-붙여넣기 대비 1.78%의 성능 향상을 기록하였으며, 특히 크로스세트 복사와 동적 샘플링의 조합에서 가장 큰 향상이 발생하였다.
• 최적의 트레이드오프 가중치 λ = 2 가 가장 높은 성능을 보였으며, λ = 4 일 경우 비지도 손실에 과도하게 초점을 맞춰 성능 저하가 발생하였다.
• 크로스헤드 네트워크가 크로스모델 네트워크보다 1.03% mIoU 높은 성능을 기록하여 공유 표현이 다중 헤드 공훈련에서 유의미한 이점을 제공함을 입증하였다.

Figure 3 : Qualitative results on the Cityscapes val set.(a) and (b) are corresponding to target images and Ground Truth(GT), (c) represents the results of CPS [ 6 ] , (d) is our method results. Orange rectangles highlight the difference among of them.