[논문 리뷰] Object Region Mining with Adversarial Erasing: A Simple Classification to Semantic Segmentation Approach

Yunchao Wei, Jiashi Feng외 4명|arXiv (Cornell University)|2017. 03. 24.

Advanced Neural Network Applications참고 문헌 31인용 수 47

한 줄 요약

이 논문은 분류 네트워크에서 점진적으로 조밀하고 완전한 객체 영역을 반복적으로 지워내면서 탐색하는 적대적 지우기(Adversarial Erasing, AE) 방법을 제안한다. 이를 통해 이미지 레벨 레이블만을 사용하는 약한 감독 세분화를 가능하게 한다. AE를 온라인 금기 세분화 학습(Prohibitive Segmentation Learning, PSL)과 조합함으로써, PASCAL VOC 2012 검증 세트에서 55.0% mIoU, 테스트 세트에서 55.7% mIoU를 달성하여 이전의 약한 감독 방법들보다 크게 향상된 최신 기술 수준(SOTA) 성능을 확보하였다.

ABSTRACT

We investigate a principle way to progressively mine discriminative object regions using classification networks to address the weakly-supervised semantic segmentation problems. Classification networks are only responsive to small and sparse discriminative regions from the object of interest, which deviates from the requirement of the segmentation task that needs to localize dense, interior and integral regions for pixel-wise inference. To mitigate this gap, we propose a new adversarial erasing approach for localizing and expanding object regions progressively. Starting with a single small object region, our proposed approach drives the classification network to sequentially discover new and complement object regions by erasing the current mined regions in an adversarial manner. These localized regions eventually constitute a dense and complete object region for learning semantic segmentation. To further enhance the quality of the discovered regions by adversarial erasing, an online prohibitive segmentation learning approach is developed to collaborate with adversarial erasing by providing auxiliary segmentation supervision modulated by the more reliable classification scores. Despite its apparent simplicity, the proposed approach achieves 55.0% and 55.7% mean Intersection-over-Union (mIoU) scores on PASCAL VOC 2012 val and test sets, which are the new state-of-the-arts.

연구 동기 및 목표

• 이미지 분류 네트워크가 일반적으로 흩어진, 특징적인 영역에만 반응하는 경향이 있기 때문에, 이러한 네트워크를 조밀하고 픽셀 단위의 세분화 작업에 적합하게 변형하는 데 도전하는 것.
• 분류 네트워크의 흩어진 주의 집중 방식과 세분화 네트워크가 요구하는 완전하고 통합된 객체 영역 국지화 간 격차를 메우는 것.
• 비용이 많이 드는 픽셀 단위의 감독 없이도, 이미지 레벨 애너테이션만을 사용하여 조밀하고 완전한 객체 영역을 효과적으로 탐색하는 단순하지만 효과적인 방법을 개발하는 것.
• 분류 신뢰도를 활용하여 세분화 감독을 정교화하는 온라인 금기 세분화 학습(PSL)을 도입함으로써 세분화 품질을 향상시키는 것.

제안 방법

• 적대적 지우기(AE)는 분류 네트워크가 식별한 가장 특징적인 영역을 반복적으로 지우며, 이후 훈련 라운드에서 새로운 상호보완적인 객체 영역을 탐색하도록 유도한다.
• 더 이상 유의미한 영역를 찾을 수 없을 때까지 이 과정을 반복하며, 지워진 영역들을 통합하여 완전하고 조밀한 전경 마스크를 생성하여 세분화 감독에 활용한다.
• 온라인 금기 세분화 학습(PSL)은 이미지 레벨 분류 점수를 사용하여 카테고리별 반응 맵을 조절함으로써 보조 세분화 감독을 생성하며, 이는 영역의 완전성 향상과 노이즈 감소에 기여한다.
• PSL는 훈련 중에 온라인 방식으로 적용되며, 분류 점수의 신뢰도에 따라 세분화 감독을 동적으로 조정한다.
• 최종 반복 훈련 단계에서는 예측 마스크에 대해 CRF를 적용하고 세분화 네트워크를 재학습함으로써 결과를 추가로 정교화한다.
• 이 방법은 AE와 PSL를 통합된 파이프라인으로 조합하며, 지도 레이블이 전혀 필요 없이 이미지 레벨 레이블만으로 작동한다.

실험 결과

연구 질문

• RQ1 적대적 지우기(AE)가 분류 네트워크를 약한 감독 세분화를 위한 점진적 객체 영역 탐색 도구로 효과적으로 변형시킬 수 있는가?
• RQ2 분류 네트워크의 흩어진 주의 집중 방식의 한계를 어떻게 보완하여 조밀하고 완전한 객체 국지화를 달성할 수 있는가?
• RQ3 온라인 금기 세분화 학습(PSL)이 탐색된 영역의 품질을 얼마나 향상시키고 세분화 성능을 향상시킬 수 있는가?
• RQ4 이중 지도 레이블 대신 분류 신뢰도 점수를 사용하는 것이 약한 감독 환경에서 더 나은 세분화 결과를 이끌어낼 수 있는가?

주요 결과

• 제안된 적대적 지우기(AE) 방법은 PASCAL VOC 2012 검증 세트에서 55.0% mIoU를 달성하여, 약한 감독 세분화 분야에서 새로운 최고 기록을 수립하였다.
• PASCAL VOC 2012 테스트 세트에서는 55.7% mIoU를 기록하여, 이는 SOTA 성능을 추가로 확인하는 데 기여하였다.
• 온라인 금기 세분화 학습(PSL)을 통합함으로써, PSL 없이 기반 모델을 사용한 경우 대비 성능이 3.2% 향상되었다.
• CRF 처리된 마스크를 활용한 추가 훈련 라운드(PSL++)는 mIoU를 54.1%에서 55.0%로 끌어올려 수렴성과 강건성을 입증하였다.
• PSL에 실제 지도 레이블을 사용한 경우 0.6% 성능 저하가 발생하여, 신뢰도 기반 조절 방식의 우수성을 입증하였다.
• PSL에서 분류 신뢰도를 제거하면 성능이 1% 감소하여, 모델 신뢰도를 활용한 감독 조절 방식의 효과성을 확인하였다.