[논문 리뷰] Pseudo-Label Noise Suppression Techniques for Semi-Supervised Semantic Segmentation

Sebastian Scherer, Robin Schön외 1명|arXiv (Cornell University)|2022. 10. 19.

Advanced Neural Network Applications인용 수 8

한 줄 요약

이 논문은 세 가지 핵심 기법을 통해 가짜 레이블 노이즈를 억제함으로써 성능을 향상시키는 준지도 학습 세그멘테이션 프레임워크를 제안한다: cow 패턴 마스크를 사용한 이미지 믹싱(CowMask), 신뢰도 기반 가짜 레이블 가중치 부여, 그리고 저신뢰도 가짜 레이블 필터링의 아블레이션. 이 방법은 도시스케이프에서 레이블이 15장 뿐인 조건에서도 mIoU를 +13.5% 향상시키며 최신 기술 수준(SOTA)을 달성하였고, 인간 자세 추정으로의 일반화도 가능하다.

ABSTRACT

Semi-supervised learning (SSL) can reduce the need for large labelled datasets by incorporating unlabelled data into the training. This is particularly interesting for semantic segmentation, where labelling data is very costly and time-consuming. Current SSL approaches use an initially supervised trained model to generate predictions for unlabelled images, called pseudo-labels, which are subsequently used for training a new model from scratch. Since the predictions usually do not come from an error-free neural network, they are naturally full of errors. However, training with partially incorrect labels often reduce the final model performance. Thus, it is crucial to manage errors/noise of pseudo-labels wisely. In this work, we use three mechanisms to control pseudo-label noise and errors: (1) We construct a solid base framework by mixing images with cow-patterns on unlabelled images to reduce the negative impact of wrong pseudo-labels. Nevertheless, wrong pseudo-labels still have a negative impact on the performance. Therefore, (2) we propose a simple and effective loss weighting scheme for pseudo-labels defined by the feedback of the model trained on these pseudo-labels. This allows us to soft-weight the pseudo-label training examples based on their determined confidence score during training. (3) We also study the common practice to ignore pseudo-labels with low confidence and empirically analyse the influence and effect of pseudo-labels with different confidence ranges on SSL and the contribution of pseudo-label filtering to the achievable performance gains. We show that our method performs superior to state of-the-art alternatives on various datasets. Furthermore, we show that our findings also transfer to other tasks such as human pose estimation. Our code is available at https://github.com/ChristmasFan/SSL_Denoising_Segmentation.

연구 동기 및 목표

• 레이블링 비용을 줄이기 위해 준지도 학습을 활용하나, 가짜 레이블 노이즈로 인해 성능이 저하되는 문제를 해결한다.
• 특히 신뢰도 점수 기반 필터링 전략의 효과성을 조사한다.
• 모델 피드백을 바탕으로 동적으로 손실 가중치를 조정하는 새로운 손실 가중 메커니즘을 개발하고 평가한다. 이는 저신뢰도 가짜 레이블의 영향을 최소화한다.
• 제안된 노이즈 억제 기법이 세그멘테이션을 넘어서 인간 자세 추정과 같은 다른 비전 과제로도 일반화 가능한지 입증한다.

제안 방법

• 레이블이 없는 이미지와 소 패턴을 혼합하여 다양한 실제적인 훈련 샘플을 생성하고, 잘못된 가짜 레이블에 대한 의존도를 줄이기 위해, CowMask라고 하는 데이터 증강 기법을 도입한다.
• 훈련 중 예측된 신뢰도에 따라 가짜 레이블 샘플에 동적 손실 가중치를 할당하는, 신뢰도 기반 가짜 레이블 가중 기법(PLW)을 제안한다.
• 모델의 자체 예측 결과가 역전파 과정에서 각 가짜 레이블의 중요도를 결정하는 피드백 기반 손실 함수를 구현하여, 잘못된 레이블의 영향을 최소화한다.
• 저신뢰도 가짜 레이블을 필터링하는 아블레이션을 평가하여, 가중 훈련 대비 성능 향상이 제한적임을 보여준다.
• CowMask, PLW, 반복적 정련을 통합한 훈련 파이프라인을 구축하여 모델의 강인성과 정확도를 향상시킨다.
• 프레임워크를 세그멘테이션과 인간 자세 추정 양쪽 과제에 적용하여, 과제 간 전이 가능성(transferability)을 검증한다.

실험 결과

연구 질문

• RQ1 가짜 레이블의 신뢰도 기반 필터링은 준지도 학습 세그멘테이션 성능에 어떤 영향을 미치며, 유의미한 성능 향상이 이루어지는가?
• RQ2 피드백 기반의 신뢰도 가중 손실 함수는 훈련 중 노이즈가 많은 가짜 레이블의 부정적 영향을 어느 정도 감소시킬 수 있는가?
• RQ3 다양한 마스크를 사용한 이미지 믹싱(CowMask)은 일반화 성능 향상과 오류 발생 가능성이 높은 가짜 레이블에 대한 의존도 감소에 기여하는가?
• RQ4 제안된 노이즈 억제 프레임워크는 세그멘테이션을 넘어서 인간 자세 추정과 같은 다른 밀도 예측 과제로도 일반화 가능한가?
• RQ5 저자료 환경에서 CowMask, PLW, 반복적 정련을 병합했을 때의 성능 향상은 어떠한가?

주요 결과

• Cityscapes 데이터셋에서 레이블이 15장 뿐인 조건에서도, 제안된 방법은 감독 학습 기반 모델 대비 mIoU를 +13.5% 향상시켰다.
• 레이블 데이터의 1/16만을 사용할 때, Cityscapes에서 71.3%의 mIoU를 달성하여, 기반 모델과 단순 자기 훈련 접근법을 모두 초월했다.
• PASCAL VOC 2012에서 1/16 프로토콜 조건 하에 mIoU가 +17.6% 향상되어, 저자료 환경에서도 뛰어난 성능을 보였다.
• 신뢰도 가중 손실(PLW)이 성능 향상에 크게 기여하였으며, 필터링 기법과 표준 자기 훈련보다 뛰어난 성능을 보였다.
• CowMask를 사용한 이미지 믹싱은 초기 훈련 반복에서 표준 CutMix보다 더 우수한 일반화 성능을 보였다.
• 프레임워크는 인간 자세 추정 과제로도 효과적으로 일반화되었으며, 동일한 노이즈 억제 기법을 사용해 LSP 데이터셋에서 PCK@0.2 점수를 향상시켰다.