[논문 리뷰] A Unified Multi-scale Deep Convolutional Neural Network for Fast Object Detection

Zhaowei Cai, Quanfu Fan외 2명|arXiv (Cornell University)|2016. 07. 25.

Advanced Neural Network Applications참고 문헌 35인용 수 4

한 줄 요약

이 논문은 여러 중간 네트워크 레이어에서 검출을 수행함으로써 다양한 객체 크기 범위에 최적화된 통합 다중 척도 딥 컨볼루션 네트워크(MS-CNN)를 제안한다. 다중 척도 특징 맵과 입력 이미지 업샘플링 대신 디컨볼루션 기반 특징 업샘플링을 활용함으로써, MS-CNN는 KITTI 및 Caltech 벤치마크에서 최대 15 fps로 상태최고 성능을 달성하며 메모리 및 계산 비용을 크게 감소시키면서도 소형 및 부분 가림 객체의 검출 성능을 향상시킨다.

ABSTRACT

A unified deep neural network, denoted the multi-scale CNN (MS-CNN), is proposed for fast multi-scale object detection. The MS-CNN consists of a proposal sub-network and a detection sub-network. In the proposal sub-network, detection is performed at multiple output layers, so that receptive fields match objects of different scales. These complementary scale-specific detectors are combined to produce a strong multi-scale object detector. The unified network is learned end-to-end, by optimizing a multi-task loss. Feature upsampling by deconvolution is also explored, as an alternative to input upsampling, to reduce the memory and computation costs. State-of-the-art object detection performance, at up to 15 fps, is reported on datasets, such as KITTI and Caltech, containing a substantial number of small objects.

연구 동기 및 목표

• 실시간 객체 검출에서 다양한 척도의 객체를 효율적으로 검출하는 문제를 해결하기 위해.
• Faster R-CNN과 같은 RPN 기반 검출기에서 고정된 수신장이 소형 객체에서 성능이 떨어지는 문제를 극복하기 위해.
• 이전 방법에서 소형 객체 검출을 위해 사용된 입력 이미지 업샘플링과 관련된 계산 및 메모리 비용을 줄이기 위해.
• 다양한 특징 맵 척도에서의 보완적인 검출기를 조합하여 소형 및 부분 가림 객체의 검출 정확도를 향상시키기 위해.
• 제안 영역 생성과 검출을 동시에 최적화하는 통합 네트워크의 엔드 투 엔드 학습을 가능하게 하기 위해.

제안 방법

• MS-CNN 아키텍처는 제안 영역 하위망과 검출 하위망을 모두 엔드 투 엔드로 훈련하는 공유 백본으로 구성된다.
• 검출은 수신장이 특정 객체 척도 범위에 맞춘 여러 중간 레이어(예: conv-3, conv-5)에서 수행된다.
• 다른 레이어의 특징 맵을 사용하여 척도별 객체 제안 영역을 생성하고, 이를 조합하여 강력한 다중 척도 검출기로 구성한다.
• 디컨볼루션 레이어를 도입하여 특징 맵을 업샘플링함으로써, 입력 이미지 업샘플링 없이도 소형 객체에 대한 반응을 향상시킨다.
• 특징 표현을 향상시키면서 파라미터 증가를 최소화하기 위해 컨텍스트 인코딩 모듈과 차원 감소 컨볼루션을 사용한다.
• 어려운 음성 샘플링과 다중 태스크 손실 최적화를 적용하여 훈련 효율성과 검출 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 다양한 수신장 크기를 가진 중간 특징 맵을 활용하여 단일 통합 딥 네트워크 내에서 다중 척도 검출을 효과적으로 수행할 수 있는가?
• RQ2 소형 객체 검출에서 디컨볼루션 기반 특징 업샘플링이 입력 이미지 업샘플링에 비해 속도, 메모리 효율성, 검출 정확도 측면에서 뛰어나게 성능을 발휘하는가?
• RQ3 고도로 척도가 다양하게 분포된 데이터셋에서 실시간 추론 속도 10~15 fps를 유지하면서도 통합 네트워크 아키텍처로 최고 수준의 검출 성능를 달성할 수 있는가?
• RQ4 다양한 특징 맵 척도에서의 검출기를 조합함으로써 소형 및 부분 가림 객체에 대해 재현율과 정밀도가 어떻게 향상되는가?
• RQ5 디컨볼루션을 통한 특징 맵 근사화가 검출 성능 저하 없이 계산 비용을 얼마나 줄일 수 있는가?

주요 결과

• KITTI 데이터셋에서 MS-CNN는 100개의 제안 영역로도 95% 이상의 재현율을 확보하여 고품질의 객체 제안 영역 생성 능력을 입증했다.
• KITTI 벤치마크에서 MS-CNN는 보행자 및 자전거 기반 검출에서 기존 최고 성능을 기록한 Faster R-CNN 및 3DOP를 6~7점 이상 앞서며 새로운 최고 기록을 수립했다.
• 입력 이미지 업샘플링 없이도 KITTI(1250×375)에서 10 fps, Caltech(640×480)에서 15 fps의 속도를 달성하여 3DOP 대비 약 8배 빠른 성능을 보였다.
• 디컨볼루션 기반 특징 업샘플링은 정확도에 미미한 영향을 주면서도 입력 업샘플링 대비 메모리 및 계산 비용을 감소시켰다.
• Caltech 보행자 벤치마크에서 MS-CNN는 DeepParts 및 기타 최고 수준의 방법들을 능가했으며, 특히 중간 및 부분 가림 상황에서 뛰어난 성능을 보였다.
• 컨텍스트 인코딩과 차원 감소 컨볼루션의 사용은 모델 파라미터를 효율적으로 관리하면서도 소규모 증가로 성능 향상을 이끌었다.