[논문 리뷰] Scalable, High-Quality Object Detection

Christian Szegedy, Scott Reed외 3명|arXiv (Cornell University)|2014. 12. 03.

Advanced Neural Network Applications참고 문헌 29인용 수 337

한 줄 요약

이 논문은 다중 척도 예측자를 갖춘 딥 컨볼루션 네트워크를 사용하여 고품질의 순서 정렬된 영역 제안을 생성하는 학습 가능하고 확장 가능한 객체 제안 방법인 Multi-scale Convolutional MultiBox (MSC-MultiBox)를 제안한다. 단일 모델로 ILSVRC 2014에서 0.50의 mAP을 달성하고 앙상블로는 0.52를 기록하여 수동으로 설계된 방법들인 Selective Search와 MCG를 능가하며, 학습 가능한 제안 순서 정렬을 통해 효율적인 런타임-품질 트레이드오프를 가능하게 한다.

ABSTRACT

Current high-quality object detection approaches use the scheme of salience-based object proposal methods followed by post-classification using deep convolutional features. This spurred recent research in improving object proposal methods. However, domain agnostic proposal generation has the principal drawback that the proposals come unranked or with very weak ranking, making it hard to trade-off quality for running time. This raises the more fundamental question of whether high-quality proposal generation requires careful engineering or can be derived just from data alone. We demonstrate that learning-based proposal methods can effectively match the performance of hand-engineered methods while allowing for very efficient runtime-quality trade-offs. Using the multi-scale convolutional MultiBox (MSC-MultiBox) approach, we substantially advance the state-of-the-art on the ILSVRC 2014 detection challenge data set, with $0.5$ mAP for a single model and $0.52$ mAP for an ensemble of two models. MSC-Multibox significantly improves the proposal quality over its predecessor MultiBox~method: AP increases from $0.42$ to $0.53$ for the ILSVRC detection challenge. Finally, we demonstrate improved bounding-box recall compared to Multiscale Combinatorial Grouping with less proposals on the Microsoft-COCO data set.

연구 동기 및 목표

• 딥 러닝을 활용해 학습된 제안 방법과 수동으로 설계된 제안 방법 간의 성능 격차를 해소함으로써 종단 간 제안 생성을 위한 엔드 투 엔드 학습 접근법을 제공한다.
• 제안 신뢰도 임계치 조정을 통해 속도 또는 정확도를 조절할 수 있는 순서 정렬된 제안 시스템을 학습시켜 객체 검출에서 효율적인 런타임-품질 트레이드오프를 가능하게 한다.
• 확장 가능한 클래스에 관계없는 제안 프레임워크에 맥락 모델링과 다중 척도 컨볼루션 예측자를 통합함으로써 검출 성능을 향상시킨다.
• 데이터 기반 제안 생성이 기존의 주목도 기반 방법들인 MCG와 Selective Search보다 품질과 효율성 측면에서 뛰어나다는 것을 입증한다.

제안 방법

• 이 방법은 Inception-v3 기반의 다중 척도 컨볼루션 아키텍처를 사용하여 다양한 특징 맵 척도에서 바운딩 박스 좌표와 신뢰도 점수를 예측한다.
• 클래스에 관계없는 제안 생성자인 이 방법은 클래스별 튜닝이 필요 없어 확장성과 일반화 능력을 향상시킨다.
• 제안은 다중 크롭 추론을 통해 생성되며, 네트워크가 전체 이미지와 다양한 척도의 슬라이딩 크롭을 처리한 후, 0.85의 IoU 임계치를 사용한 비최대 억제(NMS)를 수행한다.
• 후처리 단계에서 맥락 모델링 구성 요소를 통합하여 제안 주변의 공간적 맥락을 활용함으로써 검출 정확도를 향상시킨다.
• 200만 개의 배치(각각 크기 32)를 대상으로 30개의 모델 복제본을 사용해 비동기적 확률적 경사 하강법으로 제안 네트워크를 훈련시킨다.
• 성능 향상을 위해 두 개의 MultiBox 생성자와 세 개의 후처리 분류기를 앙상블 적용한다. 특히 고품질 검출 설정에서 성능 향상을 크게 기대할 수 있다.

실험 결과

연구 질문

• RQ1 수동으로 설계된 주목도 기반 제안 방법들인 Selective Search와 MCG와 비교해 순수하게 학습된 엔드 투 엔드 딥 러닝 접근법이 성능을 따라하거나 능가할 수 있는가?
• RQ2 다중 척도 컨볼루션 예측자 도입이 단일 척도 또는 비학습 기반 방법에 비해 제안 품질과 검출 mAP를 크게 향상시킬 수 있는가?
• RQ3 후처리 단계에서 맥락 모델링을 통합하면 검출 정확도에 측정 가능한 향상이 이루어지는가?
• RQ4 학습 가능한 제안 시스템을 통해 제안 신뢰도 임계치를 조정함으로써 유연한 런타임-품질 트레이드오프를 달성할 수 있는가?
• RQ5 표준 벤치마크인 COCO와 ImageNet에서 MCG와 같은 최신 기술 수준의 방법들과 비교해 제안된 MSC-MultiBox 방법은 재현율과 mAP 측면에서 어떻게 성능을 내는가?

주요 결과

• MSC-MultiBox는 단일 모델로 ILSVRC 2014 검출 과제에서 0.50의 평균 정밀도(mAP)를 기록하여 새로운 최신 기술 수준을 수립했다.
• 두 개의 MultiBox 생성자와 세 개의 후처리 분류기를 앙상블한 결과, 0.52 mAP를 달성하여 이전 최신 기술 수준의 방법들을 크게 능가했다.
• Microsoft COCO 검증 세트에서, 200개 이하의 제안이 있는 경우, 특히 0.75 이격 임계치까지의 평균 재현율이 MCG보다 높게 나타났다.
• ILSVRC 2014 데이터셋에서 원래의 MultiBox의 제안 품질(AP)이 0.42에서 MSC-MultiBox에서는 0.53으로 상당한 향상이 이루어졌음을 입증했다.
• 계산 비용을 줄이면서도 검출 성능을 유지하거나 향상시켰으며, 이는 학습된 제안 생성이 비용이 많이 드는 수동으로 설계된 대안을 대체할 수 있음을 보여준다.
• 이조차도 이미지당 제안 수가 15개에 불과할 때에도 ILSVRC 2014에서 이전 최신 기술 수준 성능을 초월하여 높은 효율성과 효과성을 입증했다.