[논문 리뷰] Drone-based Object Counting by Spatially Regularized Regional Proposal Network

Meng-Ru Hsieh, Yen-Liang Lin외 1명|arXiv (Cornell University)|2017. 07. 19.

Video Surveillance and Tracking Methods인용 수 7

한 줄 요약

이 논문은 드론 촬영 영상에서 객체 정위치 추정과 수량 측정을 햖을 때 공간적 레이아웃 규칙성(예: 정규화된 주차 패턴)을 활용하는 레이아웃 프로포절 네트워크(LPN)를 제안한다. 공간적으로 정규화된 손실 함수를 도입함으로써 영역 프로포절 정확도를 향상시켜, 제약 조건이 있는 프로포절 설정에서 MAE와 RMSE 모두에서 최신 기술 수준의 성능을 달성한다. 이는 89,777대의 객체가 레이블링된 새로운 대규모 드론 기반 데이터셋(CARPK)에서 성취된 결과이다.

ABSTRACT

Existing counting methods often adopt regression-based approaches and cannot precisely localize the target objects, which hinders the further analysis (e.g., high-level understanding and fine-grained classification). In addition, most of prior work mainly focus on counting objects in static environments with fixed cameras. Motivated by the advent of unmanned flying vehicles (i.e., drones), we are interested in detecting and counting objects in such dynamic environments. We propose Layout Proposal Networks (LPNs) and spatial kernels to simultaneously count and localize target objects (e.g., cars) in videos recorded by the drone. Different from the conventional region proposal methods, we leverage the spatial layout information (e.g., cars often park regularly) and introduce these spatially regularized constraints into our network to improve the localization accuracy. To evaluate our counting method, we present a new large-scale car parking lot dataset (CARPK) that contains nearly 90,000 cars captured from different parking lots. To the best of our knowledge, it is the first and the largest drone view dataset that supports object counting, and provides the bounding box annotations.

연구 동기 및 목표

• 회귀 기반 수량 측정 방법의 한계를 해결하기 위해, 특히 동적인 드론 촬영 환경에서 객체 정확도를 높이기 위한 목적이 있다.
• 정규화된 주차 배치와 같은 공간적 레이아웃 패턴을 통합하여 드론 영상에서 객체 프로포절 정확도를 향상시키기 위한 목적이 있다.
• 강력한 훈련과 평가를 지원하기 위해 대규모, 다양한 환경, 완전한 레이블링이 된 드론 기반 데이터셋(CARPK)을 구축하기 위한 목적이 있다.
• 고정 카메라 가정이 더 이상 적용되지 않는 비구속적이고 동적인 항공 환경에서 동시 수량 측정과 정위치 추정을 가능하게 하기 위한 목적이 있다.
• 공간적 레이아웃 사전 지식이 객체 수량 작업에서 영역 프로포절 네트워크의 재현율과 정확도를 크게 향상시킬 수 있음을 입증하기 위한 목적이 있다.

제안 방법

• 공간적 레이아웃 규칙성을 활용하여 드론 영상에서 객체를 동시에 탐지하고 수량을 측정하는 레이아웃 프로포절 네트워크(LPN)를 제안한다.
• 영역 프로포절을 예상되는 레이아웃 패턴(예: 정렬된 주차 줄)과의 공간적 일관성에 따라 재가중하는 공간 정규화 손실 함수를 도입한다.
• 손실 함수는 프로포절이 구조적으로 타당한 위치에 배치되도록 유도하여, 장면에 특화된 튜닝 없이도 정위치 추정 정확도를 향상시킨다.
• 이 방법은 일반화 가능하며, 어떤 객체 검출 또는 수량 측정 파이프라인에 통합되어 성능을 향상시킬 수 있다.
• 백본 CNN의 특징 맵을 사용하여 엔드 투 엔드로 네트워크를 훈련시키며, 프로포절은 공간 정규화 제약 조건을 통해 개선된다.
• 제안된 방법은 고해상도 드론 촬영 영상에서 89,777대의 차량을 포함하고 있으며, 전체 인스턴스 바운딩 박스 레이블링이 완료된 새로운 데이터셋 CARPK에서 평가된다.

실험 결과

연구 질문

• RQ1 공간적 레이아웃 규칙성이 드론 기반 영상 수량 측정에서 객체 프로포절 정확도 향상에 효과적으로 활용될 수 있는가?
• RQ2 레이아웃 사전 지식을 통합할 경우, 비구속적이고 동적인 항공 환경에서 영역 프로포절 네트워크의 성능에 어떤 영향을 미치는가?
• RQ3 공간적 레이아웃 패턴을 기반으로 훈련된 딥 러닝 모델이 다양한 주차장 환경에서 정확한 수량 측정과 정위치 추정을 위해 일반화될 수 있는가?
• RQ4 제안된 방법은 최신 기술 수준의 회귀 기반 수량 모델에 비해 정위치 추정 및 수량 측정 정확도 측면에서 어떻게 비교되는가?
• RQ5 새로운 CARPK 데이터셋이 드론 기반 수량 시스템의 더 신뢰성 있고 확장 가능한 평가를 위해 어느 정도 기여하는가?

주요 결과

• 200개의 프로포절만으로 CARPK 데이터셋에서 평균 절대 오차(MAE) 23.80과 제곱근 평균 제곱 오차(RMSE) 36.79를 달성하여, 모든 기준선 방법, 특히 최신 기술 수준의 One-Look Regression을 초월한다.
• PUCPR+ 데이터셋에서 400개의 프로포절로 MAE 22.76와 RMSE 34.46를 기록하여 최고의 회귀 기반 방법과 동일한 성능을 달성하면서도 더 뛰어난 정위치 추정 성능 유지를 보였다.
• 공간 정규화 손실 함수는 PUCPR 데이터셋에서 최신 기술 수준의 영역 프로포절 네트워크의 평균 재현율을 59.9%에서 62.5%로 향상시켰다. 이는 공간 일관성 강제 조건 덕분이었다.
• PASCAL VOC나 MS COCO에서의 미세조정은 성능 저하를 초래하여, 고정 카메라 시각에서 드론 시각으로의 도메인 이동이 모델 일반화에 상당한 영향을 미친다는 것을 시사한다.
• 89,777대의 차량과 완전한 인스턴스 레이블링을 포함한 CARPK 데이터셋은 종합적인 수량 측정과 정위치 추정 작업을 지원하는 첫 번째이자 가장 큰 드론 기반 데이터셋이다.
• 제안된 방법은 다양한 주차장 환경에서 잘 일반화되며, CARPK 데이터셋에서의 크로스 시나리오 평가에서 뛰어난 강건성을 보였다.