[논문 리뷰] Deep Neural Network Concepts for Background Subtraction: A Systematic Review and Comparative Evaluation

Thierry Bouwmans, Sajid Javed외 2명|arXiv (Cornell University)|2018. 11. 13.

Video Surveillance and Tracking Methods참고 문헌 149인용 수 10

한 줄 요약

이 논문은 정적 카메라 영상 시퀀스에서 배경 제거를 위한 딥 네ural 네트워크(DNN) 방법에 대한 체계적 리뷰와 비교 평가를 제시한다. CDnet 2014 벤치마크에서 CNN, 오토에인코더, GAN, 하이브리드 모델 등 다양한 DNN 아키텍처를 평가하여 현대적 DNN 기반 방법이 기존의 비지도 학습 접근법보다 뚜렷이 뛰어난 성능을 보이며, 최상위 모델들이 여러 카테고리에서 F-measure 점수가 0.98 이상을 기록함을 입증한다.

ABSTRACT

Conventional neural networks show a powerful framework for background subtraction in video acquired by static cameras. Indeed, the well-known SOBS method and its variants based on neural networks were the leader methods on the largescale CDnet 2012 dataset during a long time. Recently, convolutional neural networks which belong to deep learning methods were employed with success for background initialization, foreground detection and deep learned features. Currently, the top current background subtraction methods in CDnet 2014 are based on deep neural networks with a large gap of performance in comparison on the conventional unsupervised approaches based on multi-features or multi-cues strategies. Furthermore, a huge amount of papers was published since 2016 when Braham and Van Droogenbroeck published their first work on CNN applied to background subtraction providing a regular gain of performance. In this context, we provide the first review of deep neural network concepts in background subtraction for novices and experts in order to analyze this success and to provide further directions. For this, we first surveyed the methods used background initialization, background subtraction and deep learned features. Then, we discuss the adequacy of deep neural networks for background subtraction. Finally, experimental results are presented on the CDnet 2014 dataset.

연구 동기 및 목표

• 이 분야에 처음 입문하는 연구자들을 위해 배경 제거에 적용된 딥 네ural 네트워크 개념에 대한 종합적 리뷰를 제공하기 위해.
• CNN, 오토에인코더, GAN 등 다양한 DNN 아키텍처의 효과성을 배경 초기화, 전경 검출, 특징 학습 측면에서 분석하기 위해.
• 이른바 움직이는 카메라(PTZ) 및 복잡한 배경과 같은 도전적인 상황에서 현재 DNN 기반 방법의 성능 격차와 한계를 규명하기 위해.
• 향후 향상 가능성을 탐색하기 위해 다중 모odal 입력(RGB-D 등)과 대체 DNN 아키텍처(예: 피라미드형 CNN, 딥 베이지안 네트워크 등)의 잠재력을 탐색하기 위해.
• 다음과 같은 열린 문제들—최적의 네트워크 설계 및 강건한 배경 제거를 위한 입력 표현 방식—을 규명함으로써 향후 연구를 이끌기 위해.

제안 방법

• DNN 기반 배경 제거 방법을 배경 초기화, 전경 검출, 딥 특징 학습의 세 가지 주요 구성요소로 분류하고 조사하였다.
• CDnet 2014 벤치마크 데이터셋을 사용하여 표준 평가 지표(F-measure, 정밀도, 재현도)를 기반으로 20개 이상의 최신 DNN 모델(3D CNN, 주의 기반 ConvLSTM, GAN 등)을 평가하였다.
• PTZ, 그림자, 악천후, 저프레임레이트 등 도전적인 카테고리 포함 11개의 영상 카테고리 간 성능을 비교하였다.
• 공정한 비교를 위해 changedetection.net 웹사이트와 원본 논문을 활용하여 F-measure 점수를 수집하고 표준화하였다.
• ResNet 및 UNet 등의 모델에서 공간적 대비와 시간적 모델링, 스킵 연결, 잔차 학습 등의 아키텍처 선택 사항을 분석하였다.
• 입력 모odal리티(예: RGB, RGB-D, 학습된 특징 분포 등)의 역할을 분석하여 성능에 미치는 영향을 평가하였다.

실험 결과

연구 질문

• RQ1 정적 카메라 영상 시퀀스에서 배경 초기화 및 전경 검출에 가장 효과적인 딥 네ural 네트워크 아키텍처는 무엇인가?
• RQ2 CDnet 2014 벤치마크에서 DNN 기반 방법은 기존의 비지도 학습 접근법(예: 다중 쿠, 다중 특징)과 비교해 어떤 성능을 보이는가?
• RQ3 카메라 진동, PTZ 동작, 동적 배경과 같은 도전적인 상황에서 현재 DNN 방법의 핵심 한계는 무엇인가?
• RQ4 다중 모달 입력(RGB-D 등)이 딥 러닝 기반 배경 제거의 강건성과 정확도를 어느 정도 향상시킬 수 있는가?
• RQ5 미래의 배경 제거 시스템에 가장 유망한 신규 DNN 아키텍처(예: GAN, 주의 메커니즘, 3D CNN 등)는 무엇인가?

주요 결과

• 최고 성능을 기록한 BScGAN은 'Baseline' 카테고리에서 F-measure 0.9930, 'Camera Jitter'에서 0.9796을 기록하여 뛰어난 강건성을 입증하였다.
• 3D Atrous CNN은 'Baseline'에서 F-measure 0.9897, 'Bad Weather'에서 0.9833을 기록하여 시간적 모델링에서 뛰어난 성능을 보였다.
• PSL 및 CRF를 적용한 주의 기반 ConvLSTM는 'Dynamic Background'에서 F-measure 0.92 이상, 'Night Videos'에서 0.94 이상을 기록하여 복잡한 운동 상황에서 효과적인 것으로 나타났다.
• GAN 기반 모델인 BPVGAN과 BGAN은 'Thermal' 영상에서 각각 F-measure 0.9501과 0.9339을 기록하여 저조도 조건에서 뛰어난 일반화 능력을 보였다.
• 다양한 카테고리에서 높은 성능를 기록했음에도 불구하고, 많은 모델들이 'PTZ' 카테고리에서 F-measure가 0.90 이하로 떨어져 움직이는 카메라 처리에 어려움을 겪고 있음을 시사한다.
• ForeGAN-RGBD 모델이 보여준 바와 같이 RGB-D 입력의 활용은 향후 DNN 기반 배경 제거에 강력한 잠재력을 지닌 것으로 나타났으며, 특히 카모플라주 및 깊이 민감한 상황에서 유용할 것으로 기대된다.