[논문 리뷰] PCAMs: Weakly Supervised Semantic Segmentation Using Point Supervision

R. Austin McEver, B. S. Manjunath|arXiv (Cornell University)|2020. 07. 10.

Advanced Neural Network Applications참고 문헌 48인용 수 11

한 줄 요약

이 논문은 점 수준의 애너테이션만을 사용하여 약한 감독(semi-supervised) 세분화를 위한 새로운 방법인 PCAMs를 제안한다. 점 감독을 통해 클래스 활성화 맵(CAMs)을 훈련하고, 이를 IRNet를 통해 정제하여 가짜 세분화 레이블을 생성한다. 이 방법은 PASCAL VOC 2012에서 최신 기술 수준의 성능을 달성하였으며, 경계 상자나 스크래치와 같은 더 강한 감독을 사용한 방법들보다도 뛰어난 성능을 보였다.

ABSTRACT

Current state of the art methods for generating semantic segmentation rely heavily on a large set of images that have each pixel labeled with a class of interest label or background. Coming up with such labels, especially in domains that require an expert to do annotations, comes at a heavy cost in time and money. Several methods have shown that we can learn semantic segmentation from less expensive image-level labels, but the effectiveness of point level labels, a healthy compromise between all pixels labelled and none, still remains largely unexplored. This paper presents a novel procedure for producing semantic segmentation from images given some point level annotations. This method includes point annotations in the training of a convolutional neural network (CNN) for producing improved localization and class activation maps. Then, we use another CNN for predicting semantic affinities in order to propagate rough class labels and create pseudo semantic segmentation labels. Finally, we propose training a CNN that is normally fully supervised using our pseudo labels in place of ground truth labels, which further improves performance and simplifies the inference process by requiring just one CNN during inference rather than two. Our method achieves state of the art results for point supervised semantic segmentation on the PASCAL VOC 2012 dataset \cite{everingham2010pascal}, even outperforming state of the art methods for stronger bounding box and squiggle supervision.

연구 동기 및 목표

• 세분화에서 픽셀 수준의 애너테이션 비용이 매우 높다는 점을 감안해, 실용적인 대안으로 점 수준의 감독을 활용하여 이 문제를 해결하고자 한다.
• 클래스 활성화 맵 훈련에 점 애너테이션을 통합하여, 약한 감독 세분화에서 국소화 정확도를 향상시키고자 한다.
• 희소하고 저비용인 점 애너테이션만을 사용하여 완전히 감독된 모델에 가까운 성능을 달성하는 방법을 개발하고자 한다.
• 가짜 레이블을 기반으로 한 단일 완전 감독 네트워크 훈련을 통해 추론 과정을 단순화하고자 한다.

제안 방법

• 각 점의 클래스 레이블이 특징 맵 내 국소화를 이끄는 Point-Contrastive Activation Maps (PCAMs)를 생성하기 위해 점 감독을 적용한 CNN을 훈련한다.
• 전이 행렬을 통해 의미적 유사성을 모델링하고, 공간적 위치 간 레이블 전파를 통해 PCAMs를 IRNet로 정제한다.
• 정제된 PCAMs를 임계값 처리 및 후처리하여 가짜 세분화 레이블을 생성한다.
• 가짜 레이블을 진짜 레이블로 사용하여, 예를 들어 DeepLabv3+와 같은 완전 감독 세분화 네트워크를 훈련함으로써 단일 네트워크로 종단 간 추론을 가능하게 한다.
• 특징 추출을 위해 ResNet-50 백본을 활용하고, 학습률, 가중치 감쇠, 최적화기 설정 등 표준 훈련 프로토콜을 적용한다.
• 마지막 합성곱 층에서 최종 히트맵을 생성하기 위해 업샘플링 및 클래스별 가중치 벡터 융합을 적용한다.

실험 결과

연구 질문

• RQ1 이미지 수준의 감독에 비해 점 수준의 감독이 약한 감독 세분화에서 국소화 성능을 크게 향상시킬 수 있는가?
• RQ2 클래스 활성화 맵 훈련에 점 수준의 애너테이션을 통합하는 것이 특징 국소화에 얼마나 효과적인가?
• RQ3 정제된 PCAMs가 고품질의 가짜 세분화 레이블을 생성하여, 완전 감독 네트워크가 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 제안된 방법이 경계 상자나 스크래치와 같은 더 강한 감독을 사용한 기존 방법들을 초월하는가?

주요 결과

• PCAMs는 PASCAL VOC 2012 검증 세트에서 평균 교차율(mIOU) 87.1%를 달성하여, 점 감독 하에서 이전 최고 성능 기록을 초월하였다.
• 이 방법은 스크래치 감독을 사용한 최고 성능 기록(2021년 Tang 등)을 뛰어넘었으며, 최근에 발표된 경계 상자 감독 방법(Song 등, 2022)의 성능을 초월하기까지 하였다.
• 정제 후 표준 CAMs 대비 PCAMs의 성능 향상은 11.1%로, 정제 이전의 8.4%보다 뚜렷한 향상이 있었다.
• 가짜 레이블 기반으로 훈련된 최종 모델은 완전 감독 모델의 89.9% 성능을 달성하여, 극히 적은 감독으로도 강력한 일반화 능력을 보였다.
• 정성적 비교를 통해 가짜 레이블의 사용으로 인해 오류 양성률이 감소하고 경계 부착 성능이 향상됨을 확인하였다.