[논문 리뷰] Uncertainty Estimation via Response Scaling for Pseudo-mask Noise Mitigation in Weakly-supervised Semantic Segmentation

Yi Li, Yiqun Duan외 4명|arXiv (Cornell University)|2021. 12. 14.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 약한 감독 세분화(Weakly-supervised semantic segmentation, WSSS)에서 발생하는 가짜 마스크 노이즈를 줄이기 위해 다중 척도 응답맵 스케일링을 통한 불확실성 추정 기반의 새로운 방법인 URN(Uncertainty Estimation via Response Scaling for Noise mitigation)을 제안한다. 응답맵 스케일링을 통해 불확실성을 추정하고, 이를 이용해 세분화 손실을 재가중함으로써, 추가 모델이나 애너테이션 없이도 PASCAL VOC 2012에서 71.2% mIoU, MS COCO 2014에서 41.5% mIoU의 최신 기준 성능(SoTA)을 달성한다.

ABSTRACT

Weakly-Supervised Semantic Segmentation (WSSS) segments objects without a heavy burden of dense annotation. While as a price, generated pseudo-masks exist obvious noisy pixels, which result in sub-optimal segmentation models trained over these pseudo-masks. But rare studies notice or work on this problem, even these noisy pixels are inevitable after their improvements on pseudo-mask. So we try to improve WSSS in the aspect of noise mitigation. And we observe that many noisy pixels are of high confidence, especially when the response range is too wide or narrow, presenting an uncertain status. Thus, in this paper, we simulate noisy variations of response by scaling the prediction map multiple times for uncertainty estimation. The uncertainty is then used to weight the segmentation loss to mitigate noisy supervision signals. We call this method URN, abbreviated from Uncertainty estimation via Response scaling for Noise mitigation. Experiments validate the benefits of URN, and our method achieves state-of-the-art results at 71.2% and 41.5% on PASCAL VOC 2012 and MS COCO 2014 respectively, without extra models like saliency detection. Code is available at https://github.com/XMed-Lab/URN.

연구 동기 및 목표

• 약한 감독 세분화(WSSS)에서 발생하는 가짜 마스크의 노이즈 문제, 특히 부적절한 반응 스케일로 인해 높은 신뢰도를 가지는 픽셀들에 대해 지속적으로 해결하고자 한다.
• 거짓 양성(False positives)과 누락된 양성(Missing positives)이 각각 너무 넓거나 좁은 반응 범위와 체계적으로 연관되어 있음을 규명하며, 이는 불확실성을 반영한다.
• 활성화 스케일의 변동을 시뮬레이션하기 위해 반응 스케일링을 기반으로 한 새로운 불확실성 추정 메커니즘을 제안한다.
• 추정된 불확실성을 이용해 세분화 손실을 재가중시켜 학습 중 노이즈의 영향을 완화하고 모델의 강건성을 향상시킨다.
• 자기 모델이나 시각적 열매 감지기(saliency detectors)와 같은 보조 모델에 의존하지 않고도 표준 벤치마크에서 최신 기준 성능을 달성하고자 한다.

제안 방법

• 다양한 척도로 세분화 반응맵을 생성하여 활성화 범위의 변동을 시뮬레이션한다.
• 각 이미지에 대해 반응맵을 다중 요소(예: 곱셈 스케일링)로 스케일링하여 다양한 활성화 패턴을 생성한다.
• 불확실성 추정 이전에 가짜 마스크 출력을 정제하기 위해 밀도 기반 CRF를 스케일링된 반응맵에 적용한다.
• 다양한 스케일링된 반응맵 간의 분산을 불확실성으로 계산하여 픽셀 수준의 불안정성, 즉 노이즈를 반영한다.
• 불확실성 맵을 정규화하고 학습 가능한 손실 가중치로 사용하여 고불확실성(노이즈가 있는) 픽셀의 최적화 기여도를 감소시킨다.
• 노이즈 지도의 영향을 최소화하기 위해 불확실성 가중 손실을 원래 손실과 곱하여 재가중 전략을 적용한다.

실험 결과

연구 질문

• RQ1 약한 감독 세분화에서, 특히 노이즈가 높은 신뢰도 예측에 포함될 때, 가짜 마스크의 불확실성을 효과적으로 추정할 수 있는가?
• RQ2 반응 스케일의 변동이 가짜 마스크에서 거짓 양성과 누락된 양성과 얼마나 관련이 있는가?
• RQ3 응답 스케일링을 통한 불확실성 추정이 학습 중 손실 재가중을 통해 세분화 성능을 향상시킬 수 있는가?
• RQ4 기존의 노이즈 완화 전략과 비교했을 때, 제안된 URN 방법은 백본 및 데이터셋 간 일반화 능력 측면에서 성능에서 어떤가?
• RQ5 노이즈가 있는 가짜 마스크 상황에서 불확실성 기반 손실 가중치가 확률 기반 가중치보다 우월한가?

주요 결과

• URN은 PASCAL VOC 2012 검증 세트에서 71.2% mIoU의 새로운 최신 기준 성능을 달성하여 이전 SoTA인 70.0%보다 1.2% 포인트 향상시켰다.
• MS COCO 2014에서 URN은 시각적 열매 감지기와 같은 추가 모델을 사용하지 않고도 41.5% mIoU를 달성하여 새로운 최신 기준 성능을 수립했다.
• 모든 테스트된 백본에서 성능 향상이 이루어졌으며, ResNet-101에서는 1.4% 향상, ScaleNet-101에서는 2.9% 향상되었다.
• 절단 분석 결과, 불확실성 기반 재가중 함수의 임계값 t=0.05에서 최적의 성능가 도달했으며, 이는 불확실한 픽셀들 역시 유용한 정보를 담고 있음을 시사한다.
• 확률을 손실 가중치로 사용할 경우 Res2Net-101에서 70.5% mIoU를 기록했지만, URN은 71.2%를 달성하여 불확실성 추정이 노이즈 완화에 있어 확률보다 더 효과적임을 입증한다.
• 가짜 마스크 정련( distillation )은 더 약한 백본에서 성능을 1.2–1.8% 향상시켜, 모델 배포에 있어 실용적 유용성을 입증한다.