[논문 리뷰] Scalable Object Detection using Deep Neural Networks

Dumitru Erhan, Christian Szegedy외 2명|arXiv (Cornell University)|2013. 12. 08.

Advanced Neural Network Applications참고 문헌 2인용 수 36

한 줄 요약

이 논문은 단일 딥 네ural 네트워크를 사용해 이미지당 다수의 바운딩 박스와 신뢰도 점수를 예측하는 클래스에 관계없는 객체 검출 방법인 DeepMultiBox를 제안한다. 이는 다수의 객체 인스턴스 탐지와 클래스 간 일반화를 가능하게 하며, VOC2007과 ILSVRC2012에서 경쟁력 있는 정확도를 달성한다. 이미지당 평가하는 박스 수를 5~10개로 제한함으로써 기존의 클래스별 검출기 대비 계산 비용을 크게 감소시켰다.

ABSTRACT

Deep convolutional neural networks have recently achieved state-of-the-art performance on a number of image recognition benchmarks, including the ImageNet Large-Scale Visual Recognition Challenge (ILSVRC-2012). The winning model on the localization sub-task was a network that predicts a single bounding box and a confidence score for each object category in the image. Such a model captures the whole-image context around the objects but cannot handle multiple instances of the same object in the image without naively replicating the number of outputs for each instance. In this work, we propose a saliency-inspired neural network model for detection, which predicts a set of class-agnostic bounding boxes along with a single score for each box, corresponding to its likelihood of containing any object of interest. The model naturally handles a variable number of instances for each class and allows for cross-class generalization at the highest levels of the network. We are able to obtain competitive recognition performance on VOC2007 and ILSVRC2012, while using only the top few predicted locations in each image and a small number of neural network evaluations.

연구 동기 및 목표

• 클래스 수가 증가함에 따라 별도의 모델을 각 클래스마다 훈련해야 하는 기존 객체 검출기의 확장성 한계를 해결하기 위해.
• 한 번의 이미지 안에서 동일한 객체 클래스의 여러 인스턴스를 효율적으로 탐지하기 위해.
• 공동 표현 및 위치 추정 학습을 통해 훈련 중에 보지 못한 카테고리까지도 일반화 가능한 검출 프레임워크를 개발하기 위해.
• 모든 위치와 스케일을 철저히 스캔하는 대신, 가장 가능성 높은 객체 후보들만 예측함으로써 이미지당 네트워크 평가 수를 줄이기 위해.
• 단일 위치 추정 모델을 훈련시켜 새로운 카테고리의 객체를 탐지할 수 있도록, 재학습 없이도 데이터셋 간 전이 학습을 가능하게 하기 위해.

제안 방법

• 모델은 깊은 합성곱 신경망(DNN)을 사용해 고정된 수의 클래스에 관계없는 바운딩 박스와 각각의 신뢰도 점수를 예측하며, 좌표는 이미지 치수에 정규화되어 척도 불변성을 확보한다.
• 각 바운딩 박자는 네 개의 정규화된 좌표(x_min, y_min, x_max, y_max)로 표현되며, DNN의 최종 은닉층에서 선형 변환을 통해 출력된다.
• 예측 박스와 진짜 박자 간의 할당 문제를 해결하는 새로운 손실 함수를 사용하며, 역전파를 통해 박자 좌표, 신뢰도 점수, 특징 표현을 동시에 업데이트한다.
• 중복된 예측을 걸러내기 위해 비최대 제거(NMS) 기법을 사용하며, 분류를 위해 가장 높은 점수를 가진 박자들만 유지된다.
• 객체 검출은 두 단계로 수행된다: 첫째, DNN이 후보 박자를 예측한다; 둘째, 별도의 분류기가 상위 순위의 박자에 클래스 레이블을 할당한다.
• 모델은 엔드 투 엔드로 훈련되어 표현 특징과 위치 예측자 모두를 함께 학습하며, 딥 네트워크의 표현 능력을 최대한 활용한다.

실험 결과

연구 질문

• RQ1 클래스별 별도의 검출기 없이도 단일 딥 네럴 네트워크가 이미지 내에서 다수의 객체 위치를 예측할 수 있는가?
• RQ2 클래스에 관계없는 위치 추정 접근 방식이 훈련 중에 보지 못한 객체 카테고리로도 일반화되는가?
• RQ3 다중 바운딩 박자에 대한 DNN 기반 회귀 방법이 요구되는 네트워크 평가 수를 줄이며 경쟁력 있는 검출 성능를 달성할 수 있는가?
• RQ4 1박스-클래스 기반 및 전통적인 DPM 스타일 검출기와 비교해 본다면, 정확도와 확장성 측면에서 본 방법은 어떠한가?
• RQ5 ImageNet에서 훈련된 위치 추정 모델이, 새로운 클래스를 포함한 VOC 데이터셋에서 객체를 탐지할 수 있는 정도는 어느 정도인가?

주요 결과

• ILSVRC2012 검증 세트에서 DeepMultiBox는 상위 10개의 예측 박자만 사용해 59.06%의 검출 정확도를 달성했으며, 이는 1박스-클래스 방법(61.00%)에 근접한 성능를 보였고, 평가 횟수를 크게 줄였다.
• 모델은 데이터셋 간 일반화가 가능했다: ImageNet에서 훈련한 위치 추정 모델이 VOC 테스트 세트에서 VOC에서 훈련한 모델보다 더 많은 VOC 객체를 탐지했으며, 더 넓은 특징 학습 능력을 보였다.
• 단지 5~10개의 상위 점수 박자만 사용해도 최신 기술 수준의 방법과 경쟁 가능한 검출 성능를 달성했으며, 이는 높은 효율성을 보여주었다.
• 동일한 객체 클래스의 다수의 인스턴스를 성공적으로 탐지했으며, 이는 1박스-클래스 접근 방식이 이러한 경우를 위해 재학습이나 수정이 필요로 하는 것과 대비된다.
• 클래스에 관계없는 검출 접근 방식 덕분에 전이 학습이 가능했으며, ImageNet에서 훈련된 모델이 Fine-tuning 없이도 VOC에서 객체를 탐지할 수 있었고, 공유된 특징 표현 덕분이었다.
• 이 방법은 매우 낮은 추론 비용으로 높은 성능를 달성했으며, 이미지당 네트워크 평가 수가 5~10개에 불과하여, 매우 많은 클래스에 대해 확장 가능한 성능를 보였다.