[논문 리뷰] Bottom-Up Top-Down Cues for Weakly-Supervised Semantic Segmentation

Qinbin Hou, Puneet K. Dokania외 4명|arXiv (Cornell University)|2016. 12. 07.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 이미지 수준의 레이블만을 사용하여 약한 감독(semi-supervised) 세분화 방법을 제안한다. 하부에서 상위로 향하는 자극성 지도와 상부에서 하부로 향하는 주의 지도를 활용하여 EM 기반 학습 프레임워크를 위한 매우 효과적인 초기화를 구현한다. 이 방법은 경계 상자, 스케치, 또는 CRF 후처리를 요구하지 않으며, PASCAL VOC 2012에서 최신 기술을 크게 앞서는 성능을 기록한다—mIoU 기준 최대 10% 향상된다.

ABSTRACT

We consider the task of learning a classifier for semantic segmentation using weak supervision in the form of image labels which specify the object classes present in the image. Our method uses deep convolutional neural networks (CNNs) and adopts an Expectation-Maximization (EM) based approach. We focus on the following three aspects of EM: (i) initialization; (ii) latent posterior estimation (E-step) and (iii) the parameter update (M-step). We show that saliency and attention maps, our bottom-up and top-down cues respectively, of simple images provide very good cues to learn an initialization for the EM-based algorithm. Intuitively, we show that before trying to learn to segment complex images, it is much easier and highly effective to first learn to segment a set of simple images and then move towards the complex ones. Next, in order to update the parameters, we propose minimizing the combination of the standard softmax loss and the KL divergence between the true latent posterior and the likelihood given by the CNN. We argue that this combination is more robust to wrong predictions made by the expectation step of the EM method. We support this argument with empirical and visual results. Extensive experiments and discussions show that: (i) our method is very simple and intuitive; (ii) requires only image-level labels; and (iii) consistently outperforms other weakly-supervised state-of-the-art methods with a very high margin on the PASCAL VOC 2012 dataset.

연구 동기 및 목표

• 픽셀 수준의 애너테이션 대신 이미지 수준의 레이블만을 사용하는 최소한의 감독 하에서 세분화 문제를 해결한다.
• 경계 상자, 점, 슈퍼픽셀 등 더 높은 수준의 감독에 의존하는 기존의 약한 감독 방법의 한계를 극복한다.
• 단순한 이미지에서 학습함으로써 복잡한 다중 객체 시나리오를 다루는 데 있어 모델의 일반화 능력과 수렴 성능를 향상시킨다.
• E단계 예측에서 잘못된 결과가 발생할 경우를 대비해, 소프트맥스 손실과 KL 발산을 조합한 하이브리드 손실을 활용해 M단계에서 강력한 파라미터 업데이트 전략을 수립한다.

제안 방법

• 간단한 ImageNet 이미지에서 클래스에 관계없이 자극성 지도(하향식)와 클래스별 주의 지도(상향식)를 활용하여 초기 모델 학습을 위한 가짜 정답 마스크를 생성한다.
• 단일 객체가 포함된 ImageNet 이미지의 필터링된 서브셋에서 자극성 지도와 주의 지도를 결합한 지도로 초기 세분화 모델을 학습한다.
• 기대값-최대화(Expectation-Maximization, EM) 프레임워크를 적용한다: E단계에서, 이미지 수준의 클래스 레이블을 사용해 CNN의 가능성도를 정규화하여 존재하는 클래스와 배경에만 확률 질량이 집중되도록 제약을 둔다.
• M단계에서, 표준 소프트맥스 교차엔트로피와 추정된 잠재 후행확률과 CNN의 가능성도 사이의 KL 발산을 조합한 하이브리드 손실을 최소화하여 강건성을 향상시킨다.
• CRF 후처리를 피하기 위해, 단지 이미지 레이블만을 사용하는 엔드 투 엔드 학습을 수행한다.
• 정보가 풍부한 초기화에서 시작해 다중 EM 반복을 통해 예측을 점진적으로 개선함으로써, PASCAL VOC 2012에서의 세분화 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 자극성 지도와 주의 지도를 활용한 단순하고 자원 효율적인 초기화가 약한 감독 세분화의 성능을 크게 향상시킬 수 있는가?
• RQ2 하향식과 상향식 신호를 조합하면 단독으로 사용할 경우보다 더 나은 가짜 정답 지도를 제공하는가?
• RQ3 하이브리드 M단계 손실(소프트맥스 + KL 발산)을 사용한 EM 기반 프레임워크가 잘못된 E단계 예측이 존재하는 상황에서 표준 소프트맥스만을 사용하는 학습 방식을 능가할 수 있는가?
• RQ4 CRF나 더 높은 수준의 감독 신호에 의존하지 않고도, 이미지 수준의 레이블만으로 PASCAL VOC 2012에서 최신 기술 성능을 달성할 수 있는가?
• RQ5 단순한 이미지에서 먼저 학습하는 것이 약한 감독 세분화에서 일반화 능력과 수렴 성능를 향상시키는 데 어떤 기여를 하는가?

주요 결과

• 제안된 방법은 PASCAL VOC 2012 테스트 세트에서 평균 교차율(mIoU) 72.1%를 달성하여 이전 최신 기술인 AugFeed보다 약 10%포인트 높은 성능을 기록했다.
• CRF 후처리 없이도, 이전 최고 성능를 기록한 방법(즉, CRF와 더 높은 수준의 감독을 사용)보다 테스트 세트에서 2.2% 높은 성능를 기록했다.
• 단지 단순한 ImageNet 이미지에서 학습한 초기 모델조차도 현재의 모든 최신 기술 방법보다 뛰어난 성능를 보이며, 간단한 이미지에서 먼저 학습하는 것이 매우 효과적임을 입증한다.
• 자극성 지도와 주의 지도의 조합은 시각적 비교와 정량적 개선을 통해 단독으로 사용할 경우보다 더 정확한 가짜 정답 마스크를 생성함을 보여주었다.
• 하이브리드 M단계 손실(소프트맥스 + KL 발산)은 특히 혼동스럽거나 모호한 클래스에서 잘못된 E단계 예측에 대한 강건성을 향상시켰다.
• 이 방법은 완전히 약한 감독을 유지하며, 경계 상자, 스케치, 픽셀 수준의 애너테이션 없이 단지 이미지 수준의 레이블만을 요구하므로, 대규모 데이터에 대해 확장 가능하고 실용적이다.