[논문 리뷰] Soft Proposal Networks for Weakly Supervised Object Localization

Yi Zhu, Yanzhao Zhou외 3명|arXiv (Cornell University)|2017. 09. 06.

Advanced Neural Network Applications참고 문헌 30인용 수 24

한 줄 요약

이 논문은 약간의 비용만 들이고 미분 가능한 객체 제안을 표준 CNN에 통합하는 엔드 투 엔드 프레임워크인 소프트 제안 네트워크(SPNs)를 제안한다. 깊은 특징에서 반복적으로 소프트 제안을 발전시키고 이미지 수준의 레이블만을 사용하여 제안과 네트워크 가중치를 함께 최적화함으로써, PASCAL VOC, MS COCO, ImageNet에서 최신 기술 수준의 성능을 달성하며, 높은 속도(1장당 0.9ms)를 유지하면서도 국소화 정확도와 특징 표현 능력을 크게 향상시킨다.

ABSTRACT

Weakly supervised object localization remains challenging, where only image labels instead of bounding boxes are available during training. Object proposal is an effective component in localization, but often computationally expensive and incapable of joint optimization with some of the remaining modules. In this paper, to the best of our knowledge, we for the first time integrate weakly supervised object proposal into convolutional neural networks (CNNs) in an end-to-end learning manner. We design a network component, Soft Proposal (SP), to be plugged into any standard convolutional architecture to introduce the nearly cost-free object proposal, orders of magnitude faster than state-of-the-art methods. In the SP-augmented CNNs, referred to as Soft Proposal Networks (SPNs), iteratively evolved object proposals are generated based on the deep feature maps then projected back, and further jointly optimized with network parameters, with image-level supervision only. Through the unified learning process, SPNs learn better object-centric filters, discover more discriminative visual evidence, and suppress background interference, significantly boosting both weakly supervised object localization and classification performance. We report the best results on popular benchmarks, including PASCAL VOC, MS COCO, and ImageNet.

연구 동기 및 목표

• 학습 중에 이미지 수준의 레이블만 제공되는 약한 감독 하의 객체 국소화 문제를 해결한다.
• 객체 제안 생성과 분류를 분리하는 파이프라인 방식의 한계를 극복하여 공동 최적화가 불가능한 문제를 해결한다.
• 모든 표준 CNN 아키텍처에 원활하게 통합될 수 있는 거의 비용이 들지 않고, 미분 가능한 제안 메커니즘을 도입한다.
• 구분 가능한 객체 부분에 집중하고 배경 간섭을 억제함으로써 국소화 및 분류 성능을 향상시킨다.
• 약한 감독 하의 객체 제안이 네트워크 파rameter와 함께 공동 최적화될 경우, 다양한 벤치마크에서 특징 학습과 일반화 능력 향상에 기여함을 입증한다.

제안 방법

• 깊은 특징 맵의 각 수용장역에서 객체성 점수를 생성하는 소프트 제안(SP) 모듈을 설계하여, 비용이 많이 드는 영역 제안 생성을 피한다.
• 소프트 제안 맵을 특징 맵에 다시 투영하여, 정보가 풍부한 영역을 강조하는 미분 가능한 주의 메커니즘을 만든다.
• 역전파 동안 제안의 반복적 진화를 가능하게 하여, 이미지 수준의 감독 하에 제안과 네트워크 가중치가 엔드 투 엔드로 공진화하도록 한다.
• 기존의 CNN(예: VGG, GoogLeNet, CNN-S)에 SP 모듈을 통합하여 소프트 제안 네트워크(SPNs)를 구성함으로써, 원래 아키텍처를 유지하면서도 제안 기능을 추가한다.
• 임계값 조정 없이 모든 공간 위치에서의 제안과 활성화를 확률적 융합하여 정보를 통합한다.
• 표준 교차 엔트로피 손실을 사용하여 이미지 수준의 레이블만으로 학습함으로써, 바운딩 박스 애너테이션 없이도 필터와 제안을 함께 최적화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 표준 CNN에 거의 비용이 들지 않고, 미분 가능한 객체 제안 메커니즘을 통합하여 엔드 투 엔드의 약한 감독 하의 객체 국소화를 수행할 수 있는가?
• RQ2 이미지 수준의 감독 하에 객체 제안과 네트워크 파rameter를 공동 최적화할 경우, 파이프라인 또는 비미분 가능한 방법보다 국소화 정확도가 향상되는가?
• RQ3 제안된 소프트 제안 메커니즘이 배경과 함께 공존하는 패턴을 억제하면서도, 더 세밀하고 구분 가능한 시각적 증거(예: 다리, 질감 등)를 네트워크가 발견하는 데 기여하는가?
• RQ4 약한 감독 하의 제안 기능이 포함될 경우, 국소화 및 분류 성능 향상에 어느 정도 기여하는가?
• RQ5 PASCAL VOC, COCO, ImageNet 등의 벤치마크에서 속도, 정확도, 일반화 능력 측면에서 최신 기술 수준의 접근법과 비교해 볼 때, 제안된 방법은 어떤가?

주요 결과

• PASCAL VOC2012에서 SPNs는 최신 기술 수준의 방법보다 mAP 5.8% 향상되었고, MS COCO2014에서는 다중 스케일 테스트 없이도 mAP 6% 향상되었다.
• ILSVRC2014 검증 세트에서 SPN은 바운딩 박스 국소화 오차를 Fb [35]의 38.8%에서 36.3%로 감소시켜, ContextLoc보다 평균 CorLoc에서 약 5% 우수한 성능을 보였다.
• '개', '고양이', '말', '사람' 클래스에서 SPN은 비교 대상 방법 대비 국소화 성능을 20–30% 향상시켜 세밀한 객체 부분을 탐지하는 데 뛰어난 능력을 입증했다.
• ImageNet ILSVRC2014에서 SP-GoogLeNetGAP은 상위-1 오차율을 35.0%에서 33.5%로 1.5% 감소시켜, SPNs가 분류 작업의 특징 표현 능력 향상에도 기여함을 보였다.
• COCO2014와 VOC2007에서 미세조정을 수행한 SP-GoogLeNetGAP은 베이스라인 대비 VOC2007에서 4.5% 향상되어 강력한 일반화 능력을 확인했다.
• SP 모듈는 매우 효율적이며, 1장당 약 0.9ms 밖에 소요되지 않아 RPN의 10배, EdgeBoxes의 200배 빠르며, 실시간 응용에 적합하다.