[논문 리뷰] From Image-Level to Pixel-Level Labeling with Convolutional Networks

Pedro O. Pinheiro, Ronan Collobert|arXiv (Cornell University)|2014. 11. 23.

Advanced Neural Network Applications참고 문헌 29인용 수 12

한 줄 요약

이 논문은 분류 작업 중에 분류에 기여하는 특징을 강조하도록 CNN을 훈련시켜 이미지 수준의 레이블만을 사용하여 약한 감독을 받는 객체 세분화 방법을 제안한다. 이 모델은 단지 이미지 수준의 감독과 간단한 스무딩 사전 정보를 사용하여 Pascal VOC에서 42.0% mAP의 최상위 성능을 달성하며, 이는 이전의 약한 감독 방법들보다 크게 뛰어나고 완전 감독 결과에 가까워지고 있다.

ABSTRACT

We are interested in inferring object segmentation by leveraging only object class information, and by considering only minimal priors on the object segmentation task. This problem could be viewed as a kind of weakly supervised segmentation task, and naturally fits the Multiple Instance Learning (MIL) framework: every training image is known to have (or not) at least one pixel corresponding to the image class label, and the segmentation task can be rewritten as inferring the pixels belonging to the class of the object (given one image, and its object class). We propose a Convolutional Neural Network-based model, which is constrained during training to put more weight on pixels which are important for classifying the image. We show that at test time, the model has learned to discriminate the right pixels well enough, such that it performs very well on an existing segmentation benchmark, by adding only few smoothing priors. Our system is trained using a subset of the Imagenet dataset and the segmentation experiments are performed on the challenging Pascal VOC dataset (with no fine-tuning of the model on Pascal VOC). Our model beats the state of the art results in weakly supervised object segmentation task by a large margin. We also compare the performance of our model with state of the art fully-supervised segmentation approaches.

연구 동기 및 목표

• 픽셀 수준의 애너테이션 대신 이미지 수준의 클래스 레이블만을 사용하여 최소한의 감독 하에서 객체 세분화 문제를 해결한다.
• ImageNet으로 훈련된 모델의 특징을 전이하여 이미지 분류와 조밀한 예측 작업 간 격차를 메운다.
• 훈련 중에 바운딩 박스나 세그멘테이션 마스크가 필요 없도록 관련 픽셀을 학습할 수 있는 방법을 개발한다.
• 약한 감독 학습이 완전 감독 세분화 모델과 경쟁 가능한 성능을 달성할 수 있음을 입증한다.
• 복잡한 사전 정보에 의존을 최소화하면서도 효과적인 네트워크 아키텍처와 훈련 제약 조건을 통해 높은 세분화 정확도를 유지한다.

제안 방법

• 이미지 수준의 레이블만을 사용하여 ImageNet에서 CNN을 훈련하고, 백본으로 Overfeat 특징 추출기를 활용한다.
• 이미지 수준 분류에 기여하는 핵심 픽셀에 집중하도록 제약을 가하는 새로운 집계 레이어(로그-합-지수)를 도입한다.
• 각 이미지를 최소한의 양성 픽셀을 포함하는 '백'으로 간주하는 다중 예기 학습(MIL) 프레임워크를 적용한다.
• 추론 단계에서는 집계 레이어를 제거하고, 학습된 특징을 사용하여 조밀한 픽셀 수준의 분류를 수행한다.
• 추론 후 단순한 스무딩 사전 정보(예: SP-sppxl, SP-bb, SP-seg)를 적용하여 세그멘테이션 마스크를 개선하고 오분류를 줄인다.
• Pascal VOC에서 테스트셋에 대해 파인튜닝 없이 평균 정확도 및 평균 평균 정밀도(mAP)를 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 이미지 수준의 레이블만으로 훈련된 CNN이 충분히 정확한 객체 세분화를 위해 관련 픽셀을 잘 국소화할 수 있는가?
• RQ2 로그-합-지수 집계 레이어가 훈련 중에 네트워크가 분류에 기여하는 영역에 집중하도록 유도하는 데 얼마나 효과적인가?
• RQ3 간단한 스무딩 사전 정보가 약한 감독 세분화 예측의 품질을 얼마나 향상시킬 수 있는가?
• RQ4 이 약한 감독 방법의 성능이 최신 완전 감독 세분화 모델과 비교해 어떻게 되는가?
• RQ5 ImageNet에서 Pascal VOC로의 전이 학습이 파인튜닝 없이도 충분히 일반화되어 경쟁 가능한 세분화 정확도를 달성할 수 있는가?

주요 결과

• 제안된 방법은 이미지 수준의 감독과 단순한 사전 정보만을 사용하여 Pascal VOC 2012 검증 세트에서 42.0% mAP를 달성하며, 이는 이전의 약한 감독 방법들보다 크게 뛰어나다.
• SP-seg 사전 정보를 추가로 적용하면 '개' 클래스에 대해 56.8% mAP, '양' 클래스에 대해 55.4% mAP를 기록하여 강력한 클래스별 성능을 보였다.
• 이전의 약한 감독 방법 대비 평균 클래스 정확도가 30%에서 90%로 크게 향상되어 놀라운 성능 향상을 보였다.
• 가장 단순한 사전 정보(SP-sppxl)조차도 36.6% mAP를 기록하여 강력한 특징 학습과 함께 최소한의 인덕티브 바이어스로도 충분한 성능을 달성할 수 있음을 시사한다.
• 배경' 클래스에 대해 79.6% mAP, '자동차' 클래스에 대해 51.5% mAP를 기록하여 여러 Pascal VOC 클래스에서 거의 최상위 성능을 달성하며, 완전 감독 결과에 근접함을 보였다.
• 절단 분석 결과, 로그-합-지수 레이어가 다른 집계 함수보다 우수한 성능을 보이며 모든 평가 지표에서 최고 성능을 기록함을 확인했다.