[논문 리뷰] Weak-shot Semantic Segmentation by Transferring Semantic Affinity and Boundary

Siyuan Zhou, Li Niu외 3명|arXiv (Cornell University)|2021. 10. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 45인용 수 6

한 줄 요약

이 논문은 이미지 레벨 레이블만을 사용하여 새로운 카테고리의 세분화 성능을 향상시키기 위해, 완전히 레이블링된 기본 카테고리에서 클래스에 관계없이 적용 가능한 의미적 유사성과 경계 지식을 전이하는 새로운 웹샷 세분화 방법인 RETAB을 제안한다. 기존의 기본 카테고리에 대한 픽셀 레벨 레이블을 활용해 경계 네트워크와 혼합지도 학습된 유사성 네트워크를 훈련시킴으로써, 경계 인식 두 단계 전파를 통해 초기 CAM(클래스 활성 맵)을 개선한다. 이로 인해 PASCAL VOC 2012에서 최신 기술 수준(SOTA)의 성능을 달성하였으며, 새로운 카테고리의 mIoU는 완전 지도 학습의 상한선의 83.7–97.5%에 이를 수 있다.

ABSTRACT

Weakly-supervised semantic segmentation (WSSS) with image-level labels has been widely studied to relieve the annotation burden of the traditional segmentation task. In this paper, we show that existing fully-annotated base categories can help segment objects of novel categories with only image-level labels, even if base categories and novel categories have no overlap. We refer to this task as weak-shot semantic segmentation, which could also be treated as WSSS with auxiliary fully-annotated categories. Recent advanced WSSS methods usually obtain class activation maps (CAMs) and refine them by affinity propagation. Based on the observation that semantic affinity and boundary are class-agnostic, we propose a method under the WSSS framework to transfer semantic affinity and boundary from base to novel categories. As a result, we find that pixel-level annotation of base categories can facilitate affinity learning and propagation, leading to higher-quality CAMs of novel categories. Extensive experiments on PASCAL VOC 2012 dataset prove that our method significantly outperforms WSSS baselines on novel categories.

연구 동기 및 목표

• 픽셀 레벨 레이블이 전혀 없는 새로운 카테고리로 일반화가 어려운 웹스패치 세분화(WSSS)의 한계를 해결하기 위해.
• 완전히 레이블링된 기본 카테고리에서의 지식이 이미지 레벨 지도만으로도 새로운 카테고리의 세분화 성능을 향상시킬 수 있는지 탐색하기 위해.
• 기본 카테고리의 레이블을 보조 지도로 사용하여 새로운 카테고리의 세분화 성능을 향상시키는 새로운 패러다임인 웹샷 세분화를 제안하기 위해.
• 기본 카테고리에서 얻은 클래스에 관계없는 의미적 유사성과 경계 정보를 새로운 카테고리로 전이하여 CAM 정밀도를 향상시키는 방법을 개발하기 위해.

제안 방법

• 기본 샘플에 대한 진짜 세분화 레이블을 사용해 경계 네트워크를 훈련시켜 의미적 경계를 예측하고, 이 경계 정보를 바탕으로 신뢰도가 높고 낮은 픽셀을 식별함으로써 유사성 학습을 향상시킨다.
• 기본 샘플의 진짜 레이블과 새로운 샘플의 CAM을 혼합 지도 학습 방식으로 사용하여 픽셀 쌍 간의 의미적 유사성을 학습하는 유사성 네트워크를 훈련시킨다.
• 학습된 의미적 경계와 유사성을 통합하여 초기 CAM을 개선하는 이중 단계 전파 전략을 적용함으로써 반응 확장과 경계 정밀도를 향상시킨다.
• 신뢰도 기반 유사성 학습은 경계 픽셀을 낮은 신뢰도로, 비경계 픽셀을 높은 신뢰도로 간주하여 새로운 카테고리의 유사성 추정 노이즈를 줄인다.
• 경계 인식 랜덤 워크 전파 전략은 전이된 경계 정보와 학습된 유사성을 동시에 활용하여 더 정확한 의사 세분화 마스크를 생성한다.
• 기존의 WSSS 기반 모델들(예: PSA, SEAM, CPN)에 RETAB의 이중 단계 전파 전략를 표준 랜덤 워크로 대체함으로써 기존 아키텍처를 유지하면서 통합한다.

실험 결과

연구 질문

• RQ1 클래스에 관계없는 의미적 유사성과 경계 지식이 완전히 레이블링된 기본 카테고리에서 전이되어, 이미지 레벨 레이블만으로도 새로운 카테고리의 세분화 성능을 향상시킬 수 있는가?
• RQ2 기본 카테고리에서 전이된 경계 및 유사성 정보가 새로운 카테고리의 더 정확하고 경계 인식형 CAM 정밀도 향상에 기여하는가?
• RQ3 기본 카테고리의 레이블이 없는 새로운 카테고리의 세분화 성능 측면에서, 제안된 RETAB 방법이 표준 WSSS 기반 모델 및 단순 웹샷 기반 모델보다 어떻게 비교되는가?
• RQ4 RETAB은 기본 샘플의 배경에 나타나는 새로운 카테고리나 기존 카테고리의 레이블 수가 제한된 경우에도 얼마나 잘 일반화되는가?

주요 결과

• RETAB은 PASCAL VOC 2012에서 표준 WSSS 기반 모델보다 새로운 카테고리에서 뚜렷한 성능 향상을 보였으며, 완전 지도 학습 상한선(Fully Oracle)의 mIoU 기준 83.7–97.5%에 이를 수 있었다.
• 기본 카테고리에서는 완전 지도 학습 성능의 97.7–100%를 회복하여 효과적인 지식 전이를 입증했다.
• 시각화 결과, RETAB이 생성한 의사 세분화 마스크가 표준 랜덤 워크보다 객체 경계에 더 잘 맞는 것으로 나타났으며, 특히 복잡하거나 미세한 영역에서 뚜렷한 개선 효과를 보였다.
• 절단 실험을 통해 경계 전이와 유사성 학습이 성능 향상에 기여하며, 특히 경계 인식 전파 방식이 매우 효과적인 것으로 확인되었다.
• 기본 이미지의 배경에 존재하는 새로운 카테고리에 대해서도 RETAB은 단순한 자기 훈련 단계를 통해 우수한 일반화 성능을 보였다.
• 기본 샘플 수가 적은 경우에도 RETAB은 여전히 효과적이며, 소수의 샘플로도 효과적인 데이터 효율성을 보여주었다.