[논문 리뷰] Class Re-Activation Maps for Weakly-Supervised Semantic Segmentation

Zhaozheng Chen, Tan Wang외 4명|arXiv (Cornell University)|2022. 03. 02.

Advanced Neural Network Applications인용 수 12

한 줄 요약

이 논문은 약한 감독(semi) 세그멘테이션에서 이전의 이진 교차 엔트로피(BCE) 손실 대신 소프트맥스 교차 엔트로피(SCE) 손실을 사용하여 클래스 활성화 맵(CAMs)을 재활성화함으로써 성능을 향상시키는 간단하면서도 효과적인 방법인 ReCAM을 제안한다. BCE로 학습된 수렴 모델을 CAM에서 추출한 특징에 대해 SCE로 미세조정함으로써 ReCAM은 임의의 오진 및 부정성 오차를 감소시키며, 최소한의 계산 오버헤드와 CAM 변형 간의 플러그 앤 플레이 호환성을 유지하면서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Extracting class activation maps (CAM) is arguably the most standard step of generating pseudo masks for weakly-supervised semantic segmentation (WSSS). Yet, we find that the crux of the unsatisfactory pseudo masks is the binary cross-entropy loss (BCE) widely used in CAM. Specifically, due to the sum-over-class pooling nature of BCE, each pixel in CAM may be responsive to multiple classes co-occurring in the same receptive field. As a result, given a class, its hot CAM pixels may wrongly invade the area belonging to other classes, or the non-hot ones may be actually a part of the class. To this end, we introduce an embarrassingly simple yet surprisingly effective method: Reactivating the converged CAM with BCE by using softmax cross-entropy loss (SCE), dubbed extbf{ReCAM}. Given an image, we use CAM to extract the feature pixels of each single class, and use them with the class label to learn another fully-connected layer (after the backbone) with SCE. Once converged, we extract ReCAM in the same way as in CAM. Thanks to the contrastive nature of SCE, the pixel response is disentangled into different classes and hence less mask ambiguity is expected. The evaluation on both PASCAL VOC and MS~COCO shows that ReCAM not only generates high-quality masks, but also supports plug-and-play in any CAM variant with little overhead.

연구 동기 및 목표

• 약한 감독 세그멘테이션(WSSS)에서 전통적인 CAMs가 생성하는 가짜 마스크의 품질이 낮은 문제를 해결하기 위해, 특히 이진 교차 엔트로피(BCE) 손실의 한계로 인한 영향을 다루기 위해.
• CAM 생성 과정에서 BCE를 소프트맥스 교차 엔트로피(SCE) 손실로 대체할 경우 클래스 혼동을 줄이고 마스크 정확도를 향상시킬 수 있는지 탐구하기 위해.
• 기존의 모든 CAM 기반 WSSS 파이프라인에 최소한의 계산 비용으로 통합 가능한 플러그 앤 플레이 방법을 개발하기 위해.
• SCE 기반 재활성화가 클래스 반응을 분리하고 표준 벤치마크에서 mIoU를 향상시키는지 경험적으로 검증하기 위해.

제안 방법

• BCE 손실을 사용해 다중 레이블 분류기를 학습한 후, ReCAM은 최종 합성곱 레이어에서 클래스별 특징 맵(CAMs)을 추출한다.
• 각 이미지와 그 레이블된 클래스에 대해, ReCAM은 해당 클래스에 해당하는 CAM 픽셀을 추출하고 이를 서포트 특징으로 사용한다.
• 이러한 서포트 특징에 대해 해당 클래스 레이블과 함께 SCE 손실을 사용하여 새로운 완전 연결 레이어를 학습함으로써, 해당 클래스에 대해 모델을 효과적으로 재활성화한다.
• 이 재학습된 레이어에서 유도된 활성화 맵을 ReCAM이라 부르며, 이는 SCE의 클래스 독립 학습과 대비 정규화의 이점을 얻는다.
• ReCAM은 어떤 CAM 변형에도 플러그 앤 플레이 방식으로 적용되며, 최소한의 추론 오버헤드를 가진다.
• 추가적인 정련 모듈(예: IRN, AdvCAM)이 있는지 여부에 따라 평가함으로써, 이 방법의 일반성과 효율성을 입증한다.

실험 결과

연구 질문

• RQ1 CAM 생성 과정에서 BCE를 SCE 손실로 대체할 경우, 약한 감독 세그멘테이션에서 잘못된 양성 및 음성 픽셀을 줄일 수 있는가?
• RQ2 BCE로 학습된 CAM 특징에 대해 SCE를 사용한 단순한 재활성화 단계가 아키텍처 변경 없이도 가짜 마스크 품질을 크게 향상시킬 수 있는가?
• RQ3 손실 균형 가중치 λ에 대해 ReCAM은 얼마나 민감한가?
• RQ4 ReCAM은 다양한 백본 아키텍처와 세그멘테이션 모델 간에도 성능 향상을 유지하는가?
• RQ5 ReCAM은 기존의 정련 방법(예: IRN 또는 AdvCAM)과 효과적으로 조합될 수 있으며, 그 성능을 향상시킬 수 있는가?

주요 결과

• PASCAL VOC 2012 검증 세트에서 ReCAM은 기존 CAM 대비 6%의 mIoU 향상을 기록했으며, UperNet-Swin에서는 6.1% 향상, DeepLabV2에서는 4.7% 향상되었다.
• MS COCO에서 ReCAM은 기준 CAM 대비 5.5% mIoU 향상을 기록하여 다양한 데이터셋에서 일관된 성능 향상을 입증했다.
• ReCAM은 하이퍼파rameter λ에 대해 강건하며, λ=1에서 최적의 성능을 보이며 다른 값에서도 최소한의 성능 저하를 보였다. 이는 낮은 민감도를 의미한다.
• IRN과 조합했을 때, ReCAM은 VOC에서 70.9% mIoU를 달성했으며, AdvCAM을 1% 초월했고, AdvCAM 대비 160배 빠르며 IRN 단독 대비 8.2배 빠르게 작동했다.
• ReCAM은 단일 레이블 및 다중 레이블 이미지 모두에서 뛰어난 성능을 유지하며, 각각 부정성 오차와 임의의 오차를 감소시켰다.
• ReCAM은 시각화 기반 방법과의 플러그 앤 플레이 통합을 지원하며, EPS*와 함께 71.6% mIoU, EDAM*와 함께 72.2% mIoU를 기록하여 모든 기준 방법을 능가했다.