[논문 리뷰] Object Detection with Deep Learning: A Review

Zhong‐Qiu Zhao, Peng Zheng외 2명|arXiv (Cornell University)|2018. 07. 15.

Visual Attention and Saliency Detection참고 문헌 173인용 수 82

한 줄 요약

딥 러닝 기반 객체 탐지에 대한 포괄적 고찰로, R-CNN에서 현대의 영역 기반 및 회귀/분류 프레임워크까지 추적하고 일반적 작업과 특정 작업에 대한 분석을 포함합니다.

ABSTRACT

Due to object detection's close relationship with video analysis and image understanding, it has attracted much research attention in recent years. Traditional object detection methods are built on handcrafted features and shallow trainable architectures. Their performance easily stagnates by constructing complex ensembles which combine multiple low-level image features with high-level context from object detectors and scene classifiers. With the rapid development in deep learning, more powerful tools, which are able to learn semantic, high-level, deeper features, are introduced to address the problems existing in traditional architectures. These models behave differently in network architecture, training strategy and optimization function, etc. In this paper, we provide a review on deep learning based object detection frameworks. Our review begins with a brief introduction on the history of deep learning and its representative tool, namely Convolutional Neural Network (CNN). Then we focus on typical generic object detection architectures along with some modifications and useful tricks to improve detection performance further. As distinct specific detection tasks exhibit different characteristics, we also briefly survey several specific tasks, including salient object detection, face detection and pedestrian detection. Experimental analyses are also provided to compare various methods and draw some meaningful conclusions. Finally, several promising directions and tasks are provided to serve as guidelines for future work in both object detection and relevant neural network based learning systems.

연구 동기 및 목표

• 딥 러닝과 CNN의 역사와 기초가 객체 탐지와 관련하여 어떤지 조사합니다.
• 영역 제안 기반에서 회귀/분류 프레임워크로의 발전과 일반 객체 탐지 아키텍처를 요약합니다.
• 눈에 띄는 객체 탐지, 얼굴 탐지, 보행자 탐지에서의 응용을 검토하고 성능 통찰을 비교합니다.
• 초기 방법의 한계를 강조하고 그 다음의 개선 및 실용적 고려사항을 제시합니다.

제안 방법

• 객체 탐지 프레임워크를 영역 제안 기반과 회귀/분류 기반 파이프라인으로 나누어 검토하고 분류합니다.
• 주요 아키텍처(R-CNN, SPP-net, Fast R-CNN, Faster R-CNN, R-FCN, FPN, Mask R-CNN)와 그 학습 전략을 다룹니다.
• End-to-end 학습과 속도 향상에서 Region Proposal Network(RPN)의 역할을 설명합니다.
• 효율성과 정확성을 위한 개선사항( RoI 풀링/정렬, 다중 작업 손실, 피처 피라미드(FPN) 등)을 설명합니다.
• 특정 작업인 뚜렷한 객체 탐지, 얼굴 탐지, 보행자 탐지에 대한 적응을 요약합니다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 객체 탐지에서의 주요 아키텍처 패러다임은 무엇이며 어떻게 시간에 따라 진화해 왔는가?
• RQ2 영역 제안 기반 방법과 회귀/분류 기반 방법은 정확도와 효율성 측면에서 어떻게 비교되는가?
• RQ3 실시간 엔드투엔드 객체 탐 detection으로의 간극을 메운 핵심 기술은 무엇인가?
• RQ4 특수한 작업(뚜렷한 객체, 얼굴, 보행자)이 탐지기 설계와 성능에 어떻게 영향을 미치는가?

주요 결과

• R-CNN은 PASCAL VOC 2012에서 mean average precision (mAP) 53.3%를 달성하며 이전 방법 대비 상당한 개선을 보였습니다.
• SPP-net과 Fast R-CNN은 합성곱 특성 맵을 재사용하고 다중 작업 손실을 가진 RoI 풀링을 도입하여 효율성과 정확성을 향상시켰습니다.
• Faster R-CNN은 엔드투엔드로 제안된 Region Proposal Network(RPN)를 도입하여 제안을 생성하고 학습을 더 빠르고 통합되게 하여 GPU에서 VOC07/12 기준으로 실시간에 가까운 성능(예: 5 FPS)의 가능성을 보여주었습니다.
• R-FCN은 위치 민감 RoI 풀링으로 번역 불변성과 효율성의 균형을 이루는 완전 합성곱 아키텍처를 제안하고 PASCAL VOC 및 COCO에서 강력한 성능을 달성했습니다.
• FPN은 다중 스케일의 피처 표현을 통합하기 위해 위상 단상(top-down)과 측면 연결을 통한 피처 피라미드를 도입하여 스케일 간 탐지성을 향상시켰습니다.
• Mask R-CNN은 Faster R-CNN을 확장하여 독립적인 세분화 분기와 RoIAlign을 도입해 탐지 성능을 해치지 않으면서 마스크 정확도를 향상시켰습니다.