[논문 리뷰] Improved detection of small objects in road network sequences

Iván García, Rafael Marcos Luque‐Baena외 1명|arXiv (Cornell University)|2021. 05. 18.

Advanced Image Processing Techniques인용 수 2

한 줄 요약

이 논문은 사전 훈련된 CNN으로 식별한 관심 영역에 초상해상도를 적용하여 도로망 감시 영상에서 소형 객체 검출을 향상시키는 이단계 객체 검출 프레임워크를 제안한다. 검출된 소형 객체를 확대하고 동일한 검출기로 재처리함으로써, 기존 기반 모델을 재훈련하지 않고도 mAP를 크게 향상시켜 소형 차량 검출에 특히 효과적이며, 일부 경우에서 검출률을 최대 2.3배까지 높일 수 있다.

ABSTRACT

The vast number of existing IP cameras in current road networks is an opportunity to take advantage of the captured data and analyze the video and detect any significant events. For this purpose, it is necessary to detect moving vehicles, a task that was carried out using classical artificial vision techniques until a few years ago. Nowadays, significant improvements have been obtained by deep learning networks. Still, object detection is considered one of the leading open issues within computer vision. The current scenario is constantly evolving, and new models and techniques are appearing trying to improve this field. In particular, new problems and drawbacks appear regarding detecting small objects, which correspond mainly to the vehicles that appear in the road scenes. All this means that new solutions that try to improve the low detection rate of small elements are essential. Among the different emerging research lines, this work focuses on the detection of small objects. In particular, our proposal aims to vehicle detection from images captured by video surveillance cameras. In this work, we propose a new procedure for detecting small-scale objects by applying super-resolution processes based on detections performed by convolutional neural networks \emph{(CNN)}. The neural network is integrated with processes that are in charge of increasing the resolution of the images to improve the object detection performance. This solution has been tested for a set of traffic images containing elements of different scales to test the efficiency according to the detections obtained by the model, thus demonstrating that our proposal achieves good results in a wide range of situations.

연구 동기 및 목표

• 도로망 영상 시퀀스에서 소형 객체에 대한 낮은 검출 정확도 문제를 지속적으로 해결한다.
• 기존 사전 훈련된 모델을 재훈련하지 않고도 저해상도이자 높은 혼잡도를 띤 교통 환경에서 소형 차량의 객체 검출 성능을 향상시킨다.
• 딥 네트워크에서의 다운샘플링으로 인한 특징 손실을 보완하기 위해 후보 영역의 공간 해상도를 향상시킨다.
• 반복적인 초해상도 및 재검출을 통해 소형 객체에 대한 검출 신뢰도와 재현율을 높인다.
• 기존 교통 모니터링 시스템에 최소한의 계산 오버헤드로 실용적으로 구현할 수 있도록 한다.

제안 방법

• 사전 훈련된 객체 검출 모델(예: EfficientDet, CenterNet)을 사용해 입력 영상 프레임의 모든 객체를 검출한다.
• 특히 소형 객체 중심의 영역을 추출하여 해상도 향상 대상으로 선별한다.
• 딥 초해상도 네트워크(예: EDSR 또는 유사 구조)를 적용해 각 검출 영역을 고해상도로 확대한다.
• 동일한 사전 훈련된 검출기를 사용해 초해상도 영역에서 다시 객체를 검출하여 예측을 정밀화한다.
• 기존 검출 결과와 증강된 검출 결과를 통합하여 전체 검출 신뢰도와 재현율을 향상시킨다.
• COCO 평가 지표(mAP, IoU 임계값 기반)를 사용해 향상 이전 및 이후의 성능을 정량적으로 비교한다.

실험 결과

연구 질문

• RQ1 검출된 객체 영역의 초해상도 처리가 교통 감시 영상에서 소형 차량 검출 정확도를 향상시킬 수 있는가?
• RQ2 초기 검출 → 초해상도 처리 → 재검출의 이단계 검출 방식이 단일 단계 추론 대비 더 높은 mAP를 제공하는가?
• RQ3 기반 검출기에서 해상도 손실으로 인해 놓친 소형 객체는 어느 정도 복구되는가?
• RQ4 실제 교통 시퀀스에서 다양한 객체 크기(소형, 중형, 대형)에 따라 성능 향상 정도는 어떻게 달라지는가?
• RQ5 이 방법은 재훈련 없이도 기존 사전 훈련된 모델에 적용 가능하여 운영 중인 교통 모니터링 시스템에 쉽게 통합 가능한가?

주요 결과

• 제안된 방법은 기반 모델 대비 IoU=0.50:0.95에서 소형 객체의 mAP를 최대 2.3배까지 향상시켰으며, 특히 영상 1에서 기반 모델의 0.168에서 0.298로 향상되었다.
• 영상 2에서는 소형 객체의 mAP가 EfficientDet D5 기준 0.158에서 0.207로 상승하여 상대적 향상률 31%를 기록했다.
• 영상 3에서는 소형 객체의 mAP가 0.056(기반 모델)에서 0.082로 상승하여 상대적 향상률 46%를 기록했으며, 다양한 환경에서의 일관된 성능 향상을 입증했다.
• 시각적 비교 및 검출 수 그래프(그림 13–15)를 통해 첫 번째 단계에서 검출되지 않았던 추가적인 소형 차량을 탐지함을 확인했다.
• 모든 IoU 및 영역 임계값에서 높은 mAP를 확보했으며, 특히 소형 객체 검출에서 가장 두드러진 성능 향상을 보여, 저해상도 교통 모니터링에 효과적임을 입증했다.
• 기반 검출기를 재훈련하지 않아도 높은 성능을 유지하여, 기존 교통 감시 파이프라인에 효율적으로 통합 가능함을 확인했다.