[논문 리뷰] ProNet: Learning to Propose Object-specific Boxes for Cascaded Neural Networks

Chen Sun, Manohar Paluri외 3명|arXiv (Cornell University)|2015. 11. 12.

Advanced Neural Network Applications참고 문헌 35인용 수 7

한 줄 요약

ProNet는 이미지 수준의 레이블만을 사용하여 다중 척도 완전 컨volution 네트워크를 활용해 객체별 영역 제안을 생성하는 계단식 딥러닝 프레임워크를 제안한다. 이는 경계 박스 감독 없이도 정확한 객체 분류 및 국소화를 가능하게 하며, PASCAL VOC 2012 및 MS COCO에서 최신 기준 성능을 달성한다. 계단식 또는 트리 구조의 파이프라인을 통해 효율적인 제안 생성과 고용량 분류기의 조합을 실현한다.

ABSTRACT

This paper aims to classify and locate objects accurately and efficiently, without using bounding box annotations. It is challenging as objects in the wild could appear at arbitrary locations and in different scales. In this paper, we propose a novel classification architecture ProNet based on convolutional neural networks. It uses computationally efficient neural networks to propose image regions that are likely to contain objects, and applies more powerful but slower networks on the proposed regions. The basic building block is a multi-scale fully-convolutional network which assigns object confidence scores to boxes at different locations and scales. We show that such networks can be trained effectively using image-level annotations, and can be connected into cascades or trees for efficient object classification. ProNet outperforms previous state-of-the-art significantly on PASCAL VOC 2012 and MS COCO datasets for object classification and point-based localization.

연구 동기 및 목표

• 학습 시 경계 박스 레이블이 필요 없이 정확한 객체 분류 및 국소화를 위한 방법을 개발하는 것.
• 이미지 수준의 레이블만을 사용하여 임의의 위치와 척도에서 객체를 탐지하는 과제를 해결하는 것.
• 계단식 또는 트리 구조의 추론을 통해 정확도와 속도의 균형을 이룬 계산 효율적인 프레임워크를 설계하는 것.
• 정확도를 높이기 위해 고신뢰도 제안 영역의 소수의 하위 집합에 대해 강력한 CNN(예: VGG-16)을 사용하여 계산 오버헤드를 최소화하는 것.
• 이미지 수준의 감독만으로 훈련된 다중 척도 완전 컨볼루션 네트워크가 객체 제안 및 국소화에 효과적으로 기여할 수 있음을 입증하는 것.

제안 방법

• 이미지 수준의 레이블을 사용하여 다중 척도 완전 컨볼루션 네트워크(FCN)를 훈련시켜 여러 공간적 위치와 척도에서 객체 신뢰도 점수를 예측한다.
• FCN은 점수 맵에서 고신뢰도 박자를 식별하여 영역 제안을 생성하고, 이를 자르기 후속적으로 더 강력한 CNN에 입력한다.
• 다양한 척도에서 점수 맵의 전역 풀링을 통해 이미지 수준의 레이블을 이용해 손실을 계산함으로써 객체 수준의 레이블 없이도 엔드 투 엔드 훈련이 가능하다.
• 후속 계단 단계의 훈련 시 하드 네거티브 마이닝을 적용하고, 낮은 신뢰도 임계값 이상의 양성 제안 영역을 무작위로 샘플링하여 과적합을 방지한다.
• 시스템은 체인 구조와 트리 구조의 둘 다를 지원하며, 도메인 특화된 분류(예: 차량, 동물)를 통해 효율성과 정확도를 향상시킬 수 있다.
• 테스트 시점에는 이미지당 상위 10~20개의 고신뢰도 박자만 후속 분류기에 의해 처리되어 계산 비용을 낮춘다.

실험 결과

연구 질문

• RQ1 이미지 수준의 레이블만으로 훈련된 완전 컨볼루션 네트워크가 후속 분류를 위한 객체별 영역을 효과적으로 제안할 수 있는가?
• RQ2 제안된 영역에 대해 다수의 CNN을 계단식으로 연결함으로써 단일 단계 모델 대비 분류 및 국소화 정확도가 어떻게 향상되는가?
• RQ3 이미지 수준의 레이블을 사용하는 약한 감독 프레임워크가 완전 감독 기반 검출 방법과 비슷하거나 이를 초월할 수 있는가?
• RQ4 제안 박자 수의 변동에 대해 이 프레임워크는 얼마나 견고한가? 강력한 성능을 내기 위해 필요한 최소 제안 수는 얼마인가?
• RQ5 유사한 객체 카테고리들을 그룹화함으로써 트리 구조의 계단이 효율성과 정확도를 향상시킬 수 있는가?

주요 결과

• ProNet는 PASCAL VOC 2012에서 객체 분류에 대해 최신 기준 mAP 87.1%를 달성하여 이전의 약한 감독 기반 방법들을 능가한다.
• PASCAL VOC 2012 검증 세트에서 ProNet는 경계 박자 레이블 없이도 15.5%의 mAP를 기록하여 이전의 약한 감독 기반 접근 방식을 뛰어넘었다.
• 이미지당 평균 9개의 제안만으로도 ProNet는 92.6%의 top-1 분류 정확도를 달성하여 높은 효율성과 강건성을 입증했다.
• 경계 박자 레이블을 사용하지 않음에도 불구하고 RCNN과 Fast R-CNN보다 분류 성능이 뛰어나며, 훨씬 적은 제안 수로 Fast R-CNN과 유사한 국소화 성능을 달성했다.
• 비록 더 강력한 VGG-16 모델을 사용하고도 ProNet는 Simonyan 등이 제안한 다중 척도 특징 추출 방법보다 테스트 시 3배에서 6배 빠른 성능을 보였다.
• 시스템은 뛰어난 일반화 능력을 보이며, 작은 객체나 가림을 겪는 객체가 많은 대규모 복잡한 데이터셋인 MS COCO에서도 높은 성능을 기록하여 효과성을 확인했다.