[논문 리뷰] Semi-Supervised Semantic Segmentation via Adaptive Equalization Learning

Hanzhe Hu, Fangyun Wei외 4명|arXiv (Cornell University)|2021. 10. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 29인용 수 14

한 줄 요약

이 논문은 장수분포 카테고리 간 훈련을 동적으로 균형 잡는 데 사용되는 신뢰도 백업을 통해 카테고리별 성능을 추적하는 새로운 준지도 학습 세그멘테이션 프레임워크인 적응형 보정 학습(Adaptive Equalization Learning, AEL)을 제안한다. AEL은 성능이 열악한(꼬리가 긴) 클래스를 우선시하기 위해 데이터 증강, 샘플링, 재가중 전략을 적응적으로 적용함으로써 모델의 일반화 능력을 향상시킨다. Cityscapes와 Pascal VOC에서 상태의 기준을 초월하는 성능을 달성하며, 저샷 설정에서 최대 +16.39% mIoU 향상을 기록한다.

ABSTRACT

Due to the limited and even imbalanced data, semi-supervised semantic segmentation tends to have poor performance on some certain categories, e.g., tailed categories in Cityscapes dataset which exhibits a long-tailed label distribution. Existing approaches almost all neglect this problem, and treat categories equally. Some popular approaches such as consistency regularization or pseudo-labeling may even harm the learning of under-performing categories, that the predictions or pseudo labels of these categories could be too inaccurate to guide the learning on the unlabeled data. In this paper, we look into this problem, and propose a novel framework for semi-supervised semantic segmentation, named adaptive equalization learning (AEL). AEL adaptively balances the training of well and badly performed categories, with a confidence bank to dynamically track category-wise performance during training. The confidence bank is leveraged as an indicator to tilt training towards under-performing categories, instantiated in three strategies: 1) adaptive Copy-Paste and CutMix data augmentation approaches which give more chance for under-performing categories to be copied or cut; 2) an adaptive data sampling approach to encourage pixels from under-performing category to be sampled; 3) a simple yet effective re-weighting method to alleviate the training noise raised by pseudo-labeling. Experimentally, AEL outperforms the state-of-the-art methods by a large margin on the Cityscapes and Pascal VOC benchmarks under various data partition protocols. Code is available at https://github.com/hzhupku/SemiSeg-AEL

연구 동기 및 목표

• Cityscapes와 같은 데이터셋에서 클래스 불균형으로 인해 부족하게 표현된(꼬리가 긴) 카테고리에서 준지도 학습 세그멘테이션 모델의 성능이 열 劣하는 문제를 해결하기 위해.
• 기존 방법에서 무시되는 경향이 있는 꼬리 클래스에서 정확도가 떨어지는 가짜 레이블과 일致성 정규화의 부정적 영향을 완화하기 위해.
• 준지도 학습 중에 성능이 열 劣한 카테고리로 초점을 이동시키는 동적이고 적응적인 훈련 프레임워크를 개발하기 위해.
• 카테고리별 성능 추적 및 재가중 메커니즘을 활용하여 전체 및 꼬리 클래스의 mIoU를 향상시키기 위해.

제안 방법

• 훈련 중 각 카테고리의 예측 평균 신뢰도를 동적으로 추적하기 위해 신뢰도 백업을 유지하며, 이는 카테고리별 성능 지표로 기능한다.
• 적응형 복사-붙여넣기(Adaptive Copy-Paste)와 적응형 CutMix 증강 기법을 도입하여, 성능이 열 劣한 카테고리의 픽셀을 복사하거나 잘라내는 확률을 높인다.
• 꼬리 카테고리의 픽셀을 훈련 중 더 높은 확률로 샘플링하는 데 목적이 있는 적응형 균형 잡힌 샘플링 전략을 제안한다.
• 모델 예측과 신뢰도 백업 통계를 기반으로 손실 가중치를 동적으로 조정하여 신뢰할 수 없는 가짜 레이블에서 발생하는 노이즈를 줄인다.
• 이러한 구성 요소들을 평균 선생(이하 Mean Teacher) 스타일의 준지도 학습 파이프라인에 통합하여 일치성 정규화와 가짜 레이블링을 활용한다.
• 신뢰도 백업은 각 훈련 단계에서 업데이트되며, 실시간으로 모든 적응형 구성 요소를 안내하는 데 사용된다.

실험 결과

연구 질문

• RQ1 Cityscapes와 같은 데이터셋에서 장수분포 클래스 분포에 대해 준지도 학습 세그멘테이션 모델이 더 강건하게 작동할 수 있도록 하는 방법은 무엇인가?
• RQ2 동적 성능 추적은 준지도 세그멘테이션에서 성능이 열 劣한 카테고리의 학습에 얼마나 기여하는가?
• RQ3 적응형 데이터 증강 및 샘플링 전략은 헤드 클래스 성능을 떨어뜨리지 않으면서도 꼬리 카테고리로 훈련 초점을 이동시키는 데 효과적인가?
• RQ4 카테고리 신뢰도 기반의 동적 재가중 전략은 준지도 학습에서 노이즈가 많은 가짜 레이블의 부정적 영향을 어떻게 줄이는가?

주요 결과

• 1/32 데이터 분할 프로토콜을 적용한 Cityscapes 데이터셋에서 AEL은 74.28% mIoU를 달성하여 지도 학습 기준보다 +16.39% 향상되었다.
• 1/16 프로토콜에서 AEL은 75.83% mIoU를 기록하여 지도 학습 기준보다 +12.87% 향상되었다.
• Pascal VOC 2012에서 AEL은 1/32 프로토콜에서 76.97% mIoU를 달성하여 지도 학습 기준보다 +6.83% 향상되었다.
• 거친 데이터셋에서 5,000개의 비라벨 이미지를 활용해 전체 Cityscapes 훈련 세트로 미세조정한 결과, AEL은 mIoU를 80.92%에서 81.95%로 향상시켰다.
• ADE20K에서 AEL은 모든 분할 프로토콜에서 지도 학습 기준보다 최대 6.36% 향상되었으며, Cutmix-Seg보다 최대 2.25% 향상되었다.
• 제거 실험 결과, 신뢰도 백업과 동적 재가중 전략이 핵심임을 확인하였으며, 모든 구성 요소를 함께 사용했을 때 최고의 성능를 기록하였다.