[논문 리뷰] Multi-Cue Vehicle Detection for Semantic Video Compression in Georegistered Aerial Videos

Noor Al-Shakarji, Filiz Bunyak외 3명|arXiv (Cornell University)|2019. 07. 02.

Video Surveillance and Tracking Methods인용 수 3

한 줄 요약

이 논문은 지오레지스트레이션된 항공 영상에서 이동 중인 차량을 고정밀도, 고재현율로 탐지하기 위해 시공간 유속 텐서 필터링을 사용해 외관 및 운동 특징을 융합하는 딥러닝 기반의 다중 쿠 차량 탐지 파이프라인을 제안한다. 이 방법은 높은 이미지 정밀도를 유지하면서도 대역폭이 제한된 공대지 네트워크에서 대역폭 효율성을 크게 향상시켜 100:1을 초과하는 의미적 압축 비율을 달성한다.

ABSTRACT

Detection of moving objects such as vehicles in videos acquired from an airborne camera is very useful for video analytics applications. Using fast low power algorithms for onboard moving object detection would also provide region of interest-based semantic information for scene content aware image compression. This would enable more efficient and flexible communication link utilization in lowbandwidth airborne cloud computing networks. Despite recent advances in both UAV or drone platforms and imaging sensor technologies, vehicle detection from aerial video remains challenging due to small object sizes, platform motion and camera jitter, obscurations, scene complexity and degraded imaging conditions. This paper proposes an efficient moving vehicle detection pipeline which synergistically fuses both appearance and motion-based detections in a complementary manner using deep learning combined with flux tensor spatio-temporal filtering. Our proposed multi-cue pipeline is able to detect moving vehicles with high precision and recall, while filtering out false positives such as parked vehicles, through intelligent fusion. Experimental results show that incorporating contextual information of moving vehicles enables high semantic compression ratios of over 100:1 with high image fidelity, for better utilization of limited bandwidth air-to-ground network links.

연구 동기 및 목표

• 저품질 영상 조건, 플랫폼 운동, 카메라 진동 등으로 인해 어려운 조건에서도 소형 이동 차량을 탐지하는 데 도전하는 문제를 해결한다.
• 제한된 대역폭을 가진 공대지 통신 링크를 최적화하기 위해 관심 영역 기반 의미적 압축을 가능하게 한다.
• 외관 및 운동 특징을 지능적으로 융합하여 정지된 차량과 동적 배경 잡음으로 인한 오진 탐지(false positives)를 줄인다.
• 탐지된 이동 차량으로부터의 맥락 정보를 활용해 이미지 정밀도를 훼손하지 않으면서도 압축 효율을 향상시킨다.
• 실시간 UAV 플랫폼에 구현 가능한 저전력, 온보드 계산이 가능한 솔루션을 개발한다.

제안 방법

• 비디오 프레임에서 외관 기반 특징을 추출하기 위해 딥러닝 모델을 활용해 차량 후보 탐지 수행.
• 연속된 비디오 프레임에서 운동 기반 특징을 추출하기 위해 유속 텐서 시공간 필터링 적용하여 운동 일관성 향상 및 노이즈 감소.
• 보완적 융합 전략을 통해 외관 및 운동 탐지 결과를 상호보완적으로 융합하여 탐지 정확도 향상.
• 지오레지스트레이션을 활용해 영상 콘텐츠를 공간 맥락과 정렬하여 정위치 정확도 향상 및 오진 탐지 감소.
• 융합된 탐지 결과를 의미적 비디오 압축 프레임워크에 통합하여 이동 차량 영역을 우선적으로 고품질로 인코딩.
• UAV 플랫폼에서 실시간 온보드 처리를 지원하기 위해 계산 오버헤드를 최소화하여 파이프라인 최적화.

실험 결과

연구 질문

• RQ1 소형 객체 및 높은 노이즈 조건에서 시공간 유속 텐서 필터링을 통해 외관 및 운동 특징을 효과적으로 융합하여 차량 탐지 정확도를 향상시킬 수 있는가?
• RQ2 플랫폼 운동 및 카메라 진동 조건에서 시공간 유속 텐서 필터링이 운동 탐지의 강건성에 얼마나 기여하는가?
• RQ3 맥락 정보 기반 차량 정보 융합이 이미지 정밀도를 유지하면서도 의미적 압축 비율을 100:1을 초과하게 할 수 있는가?
• RQ4 단일 쿠 방법에 비해 제안된 파이프라인은 정지 차량 및 환경 잡음으로 인한 오진 탐지율을 얼마나 줄이는가?
• RQ5 온보드 UAV 처리 환경에서 탐지 정확도, 계산 비용, 압축 효율성 간의 상호 상충 관계는 어떠한가?

주요 결과

• 소형 객체 및 도전적인 영상 조건에서도 제안된 다중 쿠 탐지 파이프라인은 높은 정밀도와 재현율을 달성한다.
• 외관 및 운동 특징의 지능적 융합이 정지 차량 및 동적 배경 잡음과 같은 오진 탐지를 효과적으로 제거한다.
• 이 방법은 의미적 비디오 압축 비율을 100:1을 초과하여 구현하며, 저대역폭 공대지 네트워크에서 대역폭 활용도를 크게 향상시킨다.
• 탐지된 이동 차량 기반의 콘텐츠 인식 인코딩 덕분에 극한의 압축 비율에서도 높은 이미지 정밀도를 유지한다.
• 지오레지스트레이션과 시공간 유속 필터링의 통합은 플랫폼 운동 조건에서도 탐지 안정성과 정위치 정확도 향상에 기여한다.
• 파이프라인은 UAV 플랫폼에서 실시간 온보드 처리를 지원할 수 있을 정도로 계산 효율적이며 실용적 구현이 가능하다.