[논문 리뷰] Label-PEnet: Sequential Label Propagation and Enhancement Networks for Weakly Supervised Instance Segmentation

Weifeng Ge, Sheng Guo외 2명|arXiv (Cornell University)|2019. 10. 07.

Advanced Neural Network Applications참고 문헌 43인용 수 14

한 줄 요약

Label-PEnet는 순차적이고 계단식 프레임워크를 제안하여 이미지 수준 레이블에서 픽셀 수준 예측으로 점진적으로 개선하는 움직임을 통해 약한 감독 인스턴스 세분화를 수행한다. 네 가지 모듈—다중 레이블 분류, 객체 검출, 인스턴스 정밀화, 인스턴스 세분화—를 사용하며, 커리큘럼 학습 방식으로 훈련된다. 이는 최신 기술 수준의 성능을 달성하여 PASCAL VOC 2007에서 53.1% mAP, VOC 2012에서 49.2% mAP를 기록하며 이전의 약한 감독 방법을 능가하고 완전 감독 결과에 가까워진다.

ABSTRACT

Weakly-supervised instance segmentation aims to detect and segment object instances precisely, given imagelevel labels only. Unlike previous methods which are composed of multiple offline stages, we propose Sequential Label Propagation and Enhancement Networks (referred as Label-PEnet) that progressively transform image-level labels to pixel-wise labels in a coarse-to-fine manner. We design four cascaded modules including multi-label classification, object detection, instance refinement and instance segmentation, which are implemented sequentially by sharing the same backbone. The cascaded pipeline is trained alternatively with a curriculum learning strategy that generalizes labels from high-level images to low-level pixels gradually with increasing accuracy. In addition, we design a proposal calibration module to explore the ability of classification networks to find key pixels that identify object parts, which serves as a post validation strategy running in the inverse order. We evaluate the efficiency of our Label-PEnet in mining instance masks on standard benchmarks: PASCAL VOC 2007 and 2012. Experimental results show that Label-PEnet outperforms the state-of-the-art algorithms by a clear margin, and obtains comparable performance even with the fully-supervised approaches.

연구 동기 및 목표

• 이미지 수준 레이블만으로 높은 정확도의 인스턴스 세분화를 달성하는 데 도전하는 것.
• 다중 오프라인 단계에 의존하거나 굵은 것에서 미세한 예측으로 점진적으로 정밀화하지 못하는 기존의 약한 감독 방법의 한계를 극복하는 것.
• CNN의 계층적 특징 학습 능력을 활용하여 이미지 수준 레이블을 픽셀 수준 예측으로 전파하는 통합형 엔드 투 엔드 훈련 가능한 프레임워크를 개발하는 것.
• 분류 특징에서 주요 객체 부분을 식별하는 프포절 캘리브레이션 모듈을 도입하여 검출 및 세분화 정확도를 향상시키는 것.

제안 방법

• 프레임워크는 다중 레이블 분류, 객체 검출, 인스턴스 정밀화, 인스턴스 세분화의 네 개의 계단식 모듈로 구성되며, 공통의 백본 네트워크를 공유한다.
• 커리큘럼 학습 전략을 사용하여 모듈을 순차적으로 훈련시켜 이미지 수준에서 픽셀 수준 예측으로 점진적으로 감독 정확도를 높인다.
• 프포절 캘리브레이션 모듈을 도입하여 분류 네트워크의 특징을 활용해 분류 특징에서 분류 가능한 객체 부분을 식별하고, 역순으로 객체 프포절을 정밀화한다.
• 이전 단계의 특징 맵을 후속 단계의 감독 신호로 사용하여 객체 위치와 마스크를 반복적으로 정밀화한다.
• 객체 검출은 이전 모듈의 분류 점수에 의해 유도되며, 인스턴스 세분화는 이전 단계에서 생성된 마스크를 사용해 추가로 정밀화된다.
• 전체 파이프라인은 두 단계로 훈련된다: 먼저 계단식 사전 훈련 단계를 거치고, 이후 전진-역행 학습 루프를 통해 성능을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 순차적이고 계단식 딥 러닝 프레임워크가 이미지 수준 레이블을 정확한 픽셀 수준 인스턴스 세분화 마스크로 효과적으로 변환할 수 있는가?
• RQ2 여러 모듈을 통한 점진적 정밀화가 단일 단계 또는 비순차적 접근 방식에 비해 약한 감독 인스턴스 세분화에서 성능을 어떻게 향상시키는가?
• RQ3 분류 네트워크를 얼마나 잘 활용하여 주요 객체 부분을 식별하고 국소화 및 세분화 정확도를 향상시킬 수 있는가?
• RQ4 분류 네트워크의 특징 맵을 분석하는 프포절 캘리브레이션 모듈의 통합이 검출 및 세분화 성능 향상에 측정 가능한 기여를 하는가?
• RQ5 이러한 프레임워크는 오직 이미지 수준 애너테이션만을 사용하여 완전 감독 방법과 비교할 만한 성능을 달성할 수 있는가?

주요 결과

• Label-PEnet는 PASCAL VOC 2007 테스트 세트에서 53.1% mAP를 기록하여 이전 최고 성능인 51.2%를 1.9% 초과하여 MEFF, OICR, HCP+DSD+OSSH3를 모두 능가한다.
• PASCAL VOC 2012에서는 49.2% mAP를 기록하여 이전 연구에서 보고된 최신 결과보다 1.7% 향상되었다.
• VOC 2007에서는 68.2% CorLoc, VOC 2012에서는 71.3% CorLoc를 기록하여 각각 이전 최고 기록보다 1.2%와 1.9% 향상되었다.
• 인스턴스 세분화 모듈은 VOC 2007에서 51.3% mAP를 기록하였고, 최종 전진-역행 학습으로 성능이 53.1%로 향상되어 계단식 사전 훈련 대비 1.8% 향상되었다.
• 약한 감독 세그멘테이션 벤치마크에서 Label-PEnet는 평균 IoU 57.2%를 기록하여 AE-SPL과 MCOF를 각각 1.6%와 1% 초월했다.
• 제거 실험 결과 각 모듈이 기여도가 뚜렷함을 확인: mAP는 분류 전용일 때 26.9%에서 검출 및 정밀화 후 49.7%로 상승하고, 최종 세분화 후 51.3%로 상승하여 순차적 정밀화의 효과를 입증했다.