[논문 리뷰] Weakly Supervised Semantic Segmentation Based on Web Image Co-segmentation

Tong Shen, Guosheng Lin외 3명|arXiv (Cornell University)|2017. 05. 25.

Advanced Image and Video Retrieval Techniques참고 문헌 18인용 수 11

한 줄 요약

이 논문은 웹 이미지 동시 분할을 활용하여 이미지 레이블만으로 고품질의 픽셀 수준 마스크를 생성하는 약한 감독 세분화 방법을 제안한다. 검색 엔진을 통해 클래스별 이미지를 검색하고 대규모 동시 분할을 적용함으로써, 마스크 생성기와 최종 세분화 네트워크를 훈련시키며, PASCAL VOC 2012에서 56.9 mIoU를 달성하여 이미지 레이블만을 사용하는 약한 감독 방법 중 최고 성능을 기록한다.

ABSTRACT

Training a Fully Convolutional Network (FCN) for semantic segmentation requires a large number of masks with pixel level labelling, which involves a large amount of human labour and time for annotation. In contrast, web images and their image-level labels are much easier and cheaper to obtain. In this work, we propose a novel method for weakly supervised semantic segmentation with only image-level labels. The method utilizes the internet to retrieve a large number of images and uses a large scale co-segmentation framework to generate masks for the retrieved images. We first retrieve images from search engines, e.g. Flickr and Google, using semantic class names as queries, e.g. class names in the dataset PASCAL VOC 2012. We then use high quality masks produced by co-segmentation on the retrieved images as well as the target dataset images with image level labels to train segmentation networks. We obtain an IoU score of 56.9 on test set of PASCAL VOC 2012, which reaches the state-of-the-art performance.

연구 동기 및 목표

• 픽셀 수준 마스크의 높은 주석 비용 문제를 이미지 레이블만을 사용하여 해결하기 위해.
• 경계 상자, 스케치, 또는 시각적 강조 지도와 같은 추가 감독 자료에 의존하지 않기 위해.
• 인터넷 규모의 웹 이미지와 동시 분할을 활용하여 확장 가능한 약한 감독 프레임워크를 개발하기 위해.
• 이미지 레이블만을 사용하는 조건에서 PASCAL VOC 2012에서 최고 성능을 달성하기 위해.
• 동시 분할이 약한 감독 훈련을 위한 고품질의 가짜 마스크 생성에 얼마나 효과적인지 검증하기 위해.

제안 방법

• PASCAL VOC 2012의 클래스 이름을 검색어로 사용하여 웹 검색 엔진(Flickr 및 Google)에서 대규모 웹 이미지를 검색한다.
• 검색된 이미지에 대규모 동시 분할 프레임워크를 적용하여 인간 주석 없이도 고품질의 픽셀 수준 마스크를 생성한다.
• 웹 이미지에서 동시 분할된 마스크를 가짜 정답으로 사용하여 초기 마스크 생성기 네트워크를 훈련시킨다.
• 마스크 생성기를 사용하여 대상 데이터셋(PASCAL VOC 2012 등) 이미지의 가짜 마스크를 생성한다.
• 생성된 가짜 마스크와 대상 데이터셋의 이미지 레이블을 함께 사용하여 최종 세분화 네트워크를 훈련시켜 예측을 개선한다.
• 다중 해상도 추론과 CRF 후처리를 활용하여 국소화 정확도를 향상시키고 노이즈를 감소시킨다.

실험 결과

연구 질문

• RQ1 웹 규모의 동시 분할이 약한 감독 세분화를 위한 고품질의 가짜 마스크를 효과적으로 생성할 수 있는가?
• RQ2 마스크 생성기 → 최종 모델의 두 단계 훈련 프레임워크가 이미지 레이블만으로도 경쟁 가능한 성능을 달성할 수 있는가?
• RQ3 더 강력한 감독 자료(예: 경계 상자, 스케치)를 사용하는 기존의 약한 감독 방법과 비교해 본다면, 제안된 방법은 어떻게 성능을 내는가?
• RQ4 다중 레이블 모델링과 후처리(예: CRF)가 최종 성능에 기여하는 정도는 어떠한가?
• RQ5 동시 분할이 함께 나타나는 물체를 분리하지 못할 경우, 어떤 유형의 실패 케이스가 발생하는가?

주요 결과

• 제안된 방법은 PASCAL VOC 2012 테스트 세트에서 평균 교차율(mIoU) 56.9를 달성하여, 약한 감독 세분화 분야에서 새로운 최고 성능을 기록했다.
• 제거 분석 결과, 다중 레이블 모듈이 검증 세트에서 성능을 53.3에서 55.1 mIoU로 향상시켜 그 중요성을 입증했다.
• 다중 해상도 추론과 CRF를 적용한 최종 모델은 검증 세트에서 56.4 mIoU를 기록하여, 후처리가 국소화 정확도를 향상시킨다는 것을 시사한다.
• 점 주석(46.1 mIoU)과 이미지 레이블만을 사용하는 기준 모델(49.8–51.2 mIoU)과 비교해도 본 방법이 뛰어난 성능을 보여, 그 효과성을 입증했다.
• 실패 케이스의 주요 원인은 물체의 동시 존재(예: 의자와 식탁) 또는 저품질의 동시 분할 마스크로 인한 과도하거나 부족한 분할이다.
• 프레임워크는 완전히 약한 감독 방식이며, 경계 상자, 스케치, 픽셀 수준 주석 없이 이미지 레이블과 웹 이미지 동시 분할에만 의존한다.