[논문 리뷰] DeepPBM: Deep Probabilistic Background Model Estimation from Video Sequences

Amirreza Farnoosh, Behnaz Rezaei외 1명|arXiv (Cornell University)|2019. 02. 03.

Video Surveillance and Tracking Methods참고 문헌 24인용 수 9

한 줄 요약

이 논문은 정적 배경의 저차원 잠재 표현을 학습하는 변분 오토에인드어(Variational Autoencoder, VAE)를 사용한 딥 확률적 배경 모델인 DeepPBM을 제안한다. 이 모델은 F-measure에서 RPCA보다 23% 높은 성능을 보이며, 10배 이상 빠른 속도로 작동하면서 감시 영상에서 장기적인 배경 변화에 효과적으로 대응할 수 있다.

ABSTRACT

This paper presents a novel unsupervised probabilistic model estimation of visual background in video sequences using a variational autoencoder framework. Due to the redundant nature of the backgrounds in surveillance videos, visual information of the background can be compressed into a low-dimensional subspace in the encoder part of the variational autoencoder, while the highly variant information of its moving foreground gets filtered throughout its encoding-decoding process. Our deep probabilistic background model (DeepPBM) estimation approach is enabled by the power of deep neural networks in learning compressed representations of video frames and reconstructing them back to the original domain. We evaluated the performance of our DeepPBM in background subtraction on 9 surveillance videos from the background model challenge (BMC2012) dataset, and compared that with a standard subspace learning technique, robust principle component analysis (RPCA), which similarly estimates a deterministic low dimensional representation of the background in videos and is widely used for this application. Our method outperforms RPCA on BMC2012 dataset with 23% in average in F-measure score, emphasizing that background subtraction using the trained model can be done in more than 10 times faster.

연구 동기 및 목표

• 감시 영상에서 배경 분리에 대해 비지도 학습, 일반화 가능성, 계산 효율성이 뛰어난 방법을 개발하기 위해.
• 반복 최적화에 의해 느리고 계산 비용이 큰 전통적인 부분공간 학습 방법(예: RPCA)의 한계를 해결하기 위해.
• 딥 생성 모델링을 활용하여 후속 딥 러닝 작업의 데이터 증강을 위해 합성 배경을 생성하기 위해.
• 수동 재학습 없이도 장기적인 환경 변화에 실시간으로 배경 모델을 적응시킬 수 있도록 하기 위해.
• 정답 마스크가 필요한 감독 기반 딥 러닝 방법에 대한 확장 가능한 대안을 제공하기 위해.

제안 방법

• 영상 프레임을 저차원 잠재 공간으로 압축하기 위해 변분 오토에인드어(VAE)를 사용하며, 여기서 배경는 낮은 질량 부분공간으로 압축된다.
• 디코더는 잠재 표현에서 배경을 재구성하고, 입력 프레임과 재구성된 배경 간의 차이를 임계값 처리하여 정적 객체를 검출한다.
• 잠재 공간은 정규 분포로 모델링되어, 잠재 변수에서 샘플링을 통해 합성 배경을 확률적으로 생성할 수 있다.
• 잠재 차원 $d$는 배경의 동적 특성(예: 바람이나 비가 오는 장면일 경우 더 큰 $d$)에 따라 조정되며, 모든 영상 프레임을 사용해 비지도 학습 방식으로 모델을 훈련시킨다.
• 긴 영상의 경우, 먼저 첫 20% 프레임으로 모델을 훈련한 후, 추론을 위해 모든 프레임에 순차적으로 적용한다.
• VAE의 생성적 성질 덕분에 배경 변화(예: 이동하는 차량이 배경에 포함되는 경우)를 암묵적으로 탐지할 수 있다.

실험 결과

연구 질문

• RQ1 VAE와 같은 딥 생성 모델이 지도 학습 없이 정적 영상 배경의 압축된 확률적 표현을 효과적으로 학습할 수 있는가?
• RQ2 표준 벤치마크 영상에서 DeepPBM의 F-measure 및 추론 속도 측면에서 RPCA와의 성능 비교는 어떠한가?
• RQ3 재학습 없이도 DeepPBM 모델이 장기적인 배경 변화(예: 이동 중인 차량이 배경이 되는 경우)에 적응할 수 있는가?
• RQ4 이 모델의 생성 기능이 데이터 증강을 위해 현실적인 합성 배경을 얼마나 잘 생성할 수 있는가?
• RQ5 DeepPBM의 비지도 학습 프레임워크가 배경의 동적 특성이 다양한 다양한 감시 장면에 일반화되는가?

주요 결과

• BMC2012 데이터셋에서 DeepPBM은 RPCA보다 평균 F-measure에서 23% 높은 성능을 보이며, 더 정확한 배경 모델링 능력을 입증한다.
• 이 방법은 RPCA보다 10배 이상 빠른 추론 속도를 확보하여 실시간 감시 영상 응용에 적합하다.
• 장시간 영상(최대 78분)에서도 평균 F-measure가 0.69를 유지하며, 환경 변화에 대한 강건한 적응 능력을 보였다.
• 정지해 있던 차량이 움직이기 시작하면 이를 정상적으로 정적 객체로 탐지함으로써, 동적 배경 적응 능력이 효과적으로 작동함을 입증했다.
• VAE의 생성 기능 덕분에 잠재 변수를 변화시켜 합성 배경을 생성할 수 있으며, 이는 향후 데이터 증강에 활용 가능하다.
• 적절한 잠재 차원 $d$를 선택할 경우, 바람이나 비와 같은 동적 배경이 있는 장면에서도 모델이 효과적으로 작동한다.