[논문 리뷰] Weakly-Supervised Semantic Segmentation by Iteratively Mining Common Object Features

Xiang Wang, Shaodi You외 2명|arXiv (Cornell University)|2018. 06. 12.

Advanced Neural Network Applications참고 문헌 32인용 수 37

한 줄 요약

이 논문은 이미지 레이블만을 사용하여 약한 감독(semi-supervised) 세분화를 위한 반복적 상향식 및 하향식 프레임워크인 MCOF를 제안한다. 이는 군중 객체 특징을 조사하고, 사전 지도된 베이지안 융합을 통해 정제함으로써 객체 국소화를 점진적으로 개선하며, 개선된 마스크를 사용해 세분화 네트워크를 재학습한다. 이 방법은 PASCAL VOC 2012에서 최고 성능을 기록하여 다섯 번의 반복 후 검증 세트에서 56.2% mIoU를 달성한다.

ABSTRACT

Weakly-supervised semantic segmentation under image tags supervision is a challenging task as it directly associates high-level semantic to low-level appearance. To bridge this gap, in this paper, we propose an iterative bottom-up and top-down framework which alternatively expands object regions and optimizes segmentation network. We start from initial localization produced by classification networks. While classification networks are only responsive to small and coarse discriminative object regions, we argue that, these regions contain significant common features about objects. So in the bottom-up step, we mine common object features from the initial localization and expand object regions with the mined features. To supplement non-discriminative regions, saliency maps are then considered under Bayesian framework to refine the object regions. Then in the top-down step, the refined object regions are used as supervision to train the segmentation network and to predict object masks. These object masks provide more accurate localization and contain more regions of object. Further, we take these object masks as initial localization and mine common object features from them. These processes are conducted iteratively to progressively produce fine object masks and optimize segmentation networks. Experimental results on Pascal VOC 2012 dataset demonstrate that the proposed method outperforms previous state-of-the-art methods by a large margin.

연구 동기 및 목표

• 이미지 레벨 레이블만을 사용하는 약한 감독 세분화의 과제를 해결하기 위해, 분류 네트워크가 얻는 군중이고 정확도가 떨어지는 객체 국소화를 개선한다.
• 반복적으로 객체 영역 국소화를 향상시킴으로써 고수준의 의미적 레이블과 저수준의 시각적 외관 사이의 격차를 메운다.
• 특징 추출을 통해 점진적으로 신뢰할 수 있는 객체 영역을 확장함으로써, 정확도가 떨어지는 초기 객체 시드에 대한 내성력을 갖춘 강력한 프레임워크를 개발한다.
• 사전 지도된 지도맵을 통합하여 초기 국소화가 놓친 비판적 특징 부분을 복구함으로써 세분화 성능을 향상시킨다.
• 약한 감독만을 사용하여 PASCAL VOC 2012 벤치마크에서 최고 성능을 달성한다.

제안 방법

• 사전 훈련된 이미지 분류기에서 유도된 분류 활성도 맵(CAM)을 사용해 초기 군중 객체 시드를 생성한다.
• 하향식 단계에서, 영역 분류 네트워크(RegionNet)를 이러한 시드에 대해 훈련시켜 공통 객체 특징을 학습하고 객체 영역을 확장한다.
• 사전 지도된 정제 단계는 베이지안 프레임워크 내에서 확장된 영역과 사전 지도맵을 융합하여 누락된 객체 부분을 복구한다.
• 상향식 단계에서, 정제된 객체 영역을 약한 감독으로 사용해 밀도 있는 픽셀 수준 마스크를 예측하는 세분화 네트워크(PixelNet)를 훈련시킨다.
• 예측된 마스크는 다음 반복에서 새로운 객체 시드로 사용되며, 국소화 및 네트워크 성능을 반복적으로 개선한다.
• 하향식 특징 추출과 상향식 네트워크 훈련을 번갈아가며, 점차적으로 국소화 정확도와 세분화 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 초기 국소화가 군중일 때 공통 객체 특징을 반복적으로 추출하면 약한 감독 세분화 성능이 향상되는가?
• RQ2 초기 국소화가 핵심 부분에만 집중할 경우 비판적 특징 부분이 누락된 영역을 어떻게 복구할 수 있는가?
• RQ3 정제 과정에 사전 지도맵을 통합하면 마스크의 완전성과 세분화 정확도가 크게 향상되는가?
• RQ4 단순히 세분화 마스크만을 감독으로 사용하는 직접적인 반복 훈련보다 상향식 및 하향식 반복 프레임워크가 성능 면에서 뛰어나게 되는가?
• RQ5 제안된 방법이 약한 감독 설정에서 정확도가 떨어지는 초기 객체 시드에 얼마나 잘 견디는가?

주요 결과

• 다섯 번의 반복 후 PASCAL VOC 2012 검증 세트에서 56.2% mIoU를 달성하여 이전 최고 성능 방법을 크게 능가한다.
• 초기 객체 시드의 경우 훈련 세트에서 mIoU가 14.27%에 불과하지만, 첫 번째 전체 반복 후 48.4%로 상승하여 급격한 향상을 보였다.
• 사전 지도된 정제를 통합함으로써 첫 번째 반복에서 mIoU가 41.8%에서 44.4%로 상승하여 누락된 객체 영역을 복구하는 데 효과적임을 입증했다.
• 반복적인 MCOF 프레임워크는 빠르게 성능을 향상시키며, 다섯 번의 반복 후 테스트 세트에서 63.2% mIoU를 달성하여 강력한 수렴성과 내성성을 보였다.
• 단순히 세분화 마스크만을 감독으로 사용하는 직접적인 반복 훈련과 비교했을 때 MCOF 프레임워크는 훨씬 더 빠르고 높은 정확도 향상을 보였으며, 체계적인 특징 추출과 정제의 유용성을 확인했다.
• 초기 국소화가 매우 군중이고 주로 특징적인 부분(예: 머리, 손)에 국한되어 있어도 성공적인 결과를 내어 정확도가 떨어지는 초기 시드에 대한 내성성을 입증했다.