[논문 리뷰] Background-Aware Pooling and Noise-Aware Loss for Weakly-Supervised Semantic Segmentation

Youngmin Oh, Beom‐Jun Kim외 1명|arXiv (Cornell University)|2021. 04. 02.

Advanced Neural Network Applications참고 문헌 15인용 수 5

한 줄 요약

이 논문은 오직 객체 바운딩 박스 애너테이션만을 사용하여 약한 감독(semi-supervised) 세분화를 위한 배경 인식 풀링(BAP)과 노이즈 인식 손실(NAL)을 제안한다. BAP는 시각적으로 일관된 배경 영역을 활용하여 바운딩 박스 내에서 특징 집약을 향상시켜 전경과 배경을 구분하고, 고품질의 의사 세분화 레이블을 생성한다; NAL은 특징 거리 신뢰도를 기반으로 교차 엔트로피 손실을 적응적으로 가중하여 노이즈가 있는 레이블에 대한 모델 민감도를 낮춘다. 이 방법은 오직 바운딩 박스만을 사용하여 PASCAL VOC 2012에서 테스트 세트에서 69.4% mIoU의 최신 기술 수준 성능을 달성한다.

ABSTRACT

We address the problem of weakly-supervised semantic segmentation (WSSS) using bounding box annotations. Although object bounding boxes are good indicators to segment corresponding objects, they do not specify object boundaries, making it hard to train convolutional neural networks (CNNs) for semantic segmentation. We find that background regions are perceptually consistent in part within an image, and this can be leveraged to discriminate foreground and background regions inside object bounding boxes. To implement this idea, we propose a novel pooling method, dubbed background-aware pooling (BAP), that focuses more on aggregating foreground features inside the bounding boxes using attention maps. This allows to extract high-quality pseudo segmentation labels to train CNNs for semantic segmentation, but the labels still contain noise especially at object boundaries. To address this problem, we also introduce a noise-aware loss (NAL) that makes the networks less susceptible to incorrect labels. Experimental results demonstrate that learning with our pseudo labels already outperforms state-of-the-art weakly- and semi-supervised methods on the PASCAL VOC 2012 dataset, and the NAL further boosts the performance.

연구 동기 및 목표

• 오직 객체 바운딩 박스 애너테이션만을 사용하여 경계 정보가 없는 약한 감독 환경에서 정확한 픽셀 수준의 의사 레이블을 생성하는 문제를 해결하는 것.
• 바운딩 박스 내에서 배경 영역의 시각적 일관성을 활용하여 전경과 배경을 구분함으로써 의사 세그먼테이션 레이블의 품질을 향상시키는 것.
• 학습 중에 잘못된 의사 레이블이 딥 러닝 모델에 악영향을 미치는 것을 줄이기 위해 노이즈가 포함된 레이블에 대한 민감도를 감소시키는 것.
• 오직 바운딩 박스 애너테이션만을 사용하여 약한 및 반약한 감독 세분화 벤치마크에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 시각적 일관성을 기반으로 바운딩 박스 내의 배경 영역를 식별하는 데 사용되는 학습된 어텐션 맵을 활용하는 배경 인식 풀링(BAP)을 제안한다. 이는 전경 특징 집약을 향상시킨다.
• BAP에서 생성된 어텐션 맵을 활용해 클래스 활성화 맵s(CAMs)를 개선하여 표준 전역 평균 풀링(GAP)보다 더 정확한 의사 지도 세그먼테이션 레이블을 생성한다.
• 특징 임베딩과 분류기 가중치 간의 L2 거리에서 유도된 신뢰도 맵을 사용하여 교차 엔트로피 손실을 적응적으로 계산하는 노이즈 인식 손실(NAL)을 도입한다.
• 신뢰도 맵을 활용해 불확실하거나 노이즈가 있는 예측에 대한 손실 기여도를 낮춰, 잘못된 의사 레이블에 대한 모델의 강건성을 향상시킨다.
• 두 단계로 구성된 훈련 파이프라인을 적용한다: 첫 번째 단계에서는 BAP를 사용해 의사 레이블을 생성하는 분류기 훈련; 두 번째 단계에서는 이러한 의사 레이블과 NAL을 사용해 세그먼테이션 네트워크 훈련.
• 표준 세그먼테이션 아키텍처(예: DeepLab, UPerNet)를 사용하여 생성된 의사 레이블과 NAL을 통해 미세조정하여 성능 향상을 이룬다.

(a) Input image.

실험 결과

연구 질문

• RQ1 객체 바운딩 박스 내에서 배경 영역의 시각적 일관성을 활용하여 약한 감독 세분화에서 전경 특징 정렬을 향상시킬 수 있는가?
• RQ2 BAP와 같은 새로운 풀링 메커니즘이 바운딩 박스 감독에서 고품질의 의사 세그먼테이션 레이블을 생성하는 데 있어 표준 전역 평균 풀링(GAP)을 초월할 수 있는가?
• RQ3 예측 불확실성을 고려한 적응형 손실 함수는 훈련 중에 노이즈가 포함된 의사 레이블의 악영향을 줄일 수 있는가?
• RQ4 BAP와 NAL를 결합하면 약한 감독 세분화 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 BAP 방법은 오직 바운딩 박스 애너테이션만을 사용하여 PASCAL VOC 2012 테스트 세트에서 68.1% mIoU를 달성하며, 이는 이전 최신 기술 수준 방법을 능가한다.
• 노이즈 인식 손실(NAL)과 조합할 경우, 이 방법은 PASCAL VOC 2012 테스트 세트에서 69.4% mIoU를 달성하여 약한 감독 세분화 분야에서 새로운 최신 기술 수준을 수립한다.
• 동일한 벤치마크에서 9K개의 바운딩 박스와 1K개의 마스크 애너테이션을 사용해 훈련한 경우, 이 방법은 이 설정에서 이전 최신 기술 수준 방법을 뛰어넘는 71.5% mIoU를 달성한다.
• 이 방법은 인스턴스 세분화로도 잘 일반화된다: 생성된 의사 레이블을 사용해 훈련한 Mask R-CNN은 MS-COCO에서 22.2% AP를 기록하며 이전의 약한 감독 방법을 능가한다.
• 제거 실험 결과는 BAP와 NAL가 성능 향상에 기여하며, 특히 NAL가 강력한 노이즈 강건성을 보임을 확인한다.
• 이 방법은 뛰어난 일반화 능력을 보이며, VOC에서 COCO로의 데이터 전이 시험에서 COCO에서 COCO로의 훈련보다 성능이 뛰어나, 의사 레이블의 품질이 우수함을 시사한다.

(b) Ground truth.