[논문 리뷰] Weakly Supervised Instance Segmentation using Class Peak Response

Yanzhao Zhou, Yi Zhu외 3명|arXiv (Cornell University)|2018. 04. 03.

Advanced Neural Network Applications참고 문헌 41인용 수 39

한 줄 요약

이 논문은 이미지 레이블만으로 훈련된 완전 컨volution 네트워크에서 클래스 피크 응답을 사용하여 약한 감독형 인스턴스 세그멘테이션 방법을 제안한다. 클래스 응답 맵 내 국소 최댓값(피크)을 자극하고 역전파하여 세분화된 인스턴스 경계와 레이아웃을 포착하는 피크 응답 맵(_PRMs_)을 생성함으로써, 픽셀 수준의 애너테이션 없이도 고성능 인스턴스 마스크 추출이 가능해지며, PASCAL VOC 2012 및 MS COCO 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Weakly supervised instance segmentation with image-level labels, instead of expensive pixel-level masks, remains unexplored. In this paper, we tackle this challenging problem by exploiting class peak responses to enable a classification network for instance mask extraction. With image labels supervision only, CNN classifiers in a fully convolutional manner can produce class response maps, which specify classification confidence at each image location. We observed that local maximums, i.e., peaks, in a class response map typically correspond to strong visual cues residing inside each instance. Motivated by this, we first design a process to stimulate peaks to emerge from a class response map. The emerged peaks are then back-propagated and effectively mapped to highly informative regions of each object instance, such as instance boundaries. We refer to the above maps generated from class peak responses as Peak Response Maps (PRMs). PRMs provide a fine-detailed instance-level representation, which allows instance masks to be extracted even with some off-the-shelf methods. To the best of our knowledge, we for the first time report results for the challenging image-level supervised instance segmentation task. Extensive experiments show that our method also boosts weakly supervised pointwise localization as well as semantic segmentation performance, and reports state-of-the-art results on popular benchmarks, including PASCAL VOC 2012 and MS COCO.

연구 동기 및 목표

• 픽셀 수준의 마스크가 아닌 이미지 레이블만으로 인스턴스 세그멘테이션 모델을 훈련시키는 과제를 해결하여 고비용 픽셀 수준 애너테이션을 피하기 위해.
• 인스턴스 수준의 감독 없이도 딥 컨volution 레이어의 특징에 포함된 인스턴스 인식 시각적 단서를 탐지하고 활용하기 위해.
• 표준 분류 네트워크 및 훈련 프로토콜과 호환되는 단순하고 효율적이며 일반화 능력이 뛰어난 방법을 개발하기 위해.

제안 방법

• 훈련 중에 각 객체 인스턴스 내 강력한 시각적 단서를 부각시키기 위해 클래스 응답 맵 내 국소 최댓값(피크)의 발생을 자극한다.
• 이 피크를 역전파하여 객체 경계와 같은 고정보 영역로 매핑함으로써 피크 응답 맵(PRMs)을 생성한다.
• 클래스 인식, 인스턴스 인식, 경계 인식 요소를 조합한 제안 검색 메트릭을 구축하여 마스크 예측 성능을 향상시킨다.
• PRMs에 대해 표준 인스턴스 세그멘테이션 방법을 그대로 적용하여 추가 설계 없이 최종 인스턴스 마스크를 추출한다.
• 표준 교차 엔트로피 손실과 이미지 레이블만을 사용하여 전체 시스템을 훈련함으로써, 어떤 현대적 CNN 아키텍처와도 호환 가능하게 한다.

실험 결과

연구 질문

• RQ1 클래스 응답 맵 내 국소 최댓값이 약한 감독형 인스턴스 세그멘테이션에서 인스턴스 인식 시각적 단서의 신뢰할 수 있는 대체 지표로 사용될 수 있는가?
• RQ2 정확한 국소화 성능 향상을 위해 훈련 중 피크 응답을 어떻게 효과적으로 자극할 수 있는가?
• RQ3 피크 역전파가 얼마나 세밀하고 경계 인식 특성을 갖춘 표현을 생성하여 인스턴스 마스크 추출에 기여할 수 있는가?
• RQ4 이미지 레이블만으로 훈련된 완전 컨volution 분류 네트워크가 인스턴스 수준의 감독 없이도 경쟁 가능한 인스턴스 세그멘테이션 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 ResNet50를 사용하여 $mAP^{r}_{0.5}$ 메트릭에서 PASCAL VOC 2012에서 최신 기술 수준의 성능을 달성하며, 평균 정밀도(mAP)가 26.8%에 이른다.
• 인스턴스 인식 항목을 생략할 경우 mAP는 13.3%로 떨어지며, 이는 성능에 있어 잘 분리된 인스턴스 표현의 핵심적 역할을 확인한다.
• 경계 인식 항목을 추가하면 성능이 2.5% 향상되며, 이는 PRMs가 세분화된 경계 정보를 효과적으로 캡처하고 있음을 확인한다.
• 정답 마스크를 제안 갤러리로 사용할 경우 mAP는 73.3%로 상승하며, SPN을 크게 능가하며 고품질 제안 응용의 강력한 잠재력을 보여준다.
• 이 방법은 아키텍처 간에 잘 일반화되며, PASCAL VOC 2012에서 VGG16을 사용할 경우 22.8%의 mAP, ResNet50를 사용할 경우 26.8%의 mAP를 기록한다.
• 이 방법은 약한 감독형 점별 국소화 및 의미 세그멘테이션 성능 향상에도 기여하여 더 넓은 적용 가능성을 보여준다.