[논문 리뷰] Real-Time Background Subtraction Using Adaptive Sampling and Cascade of Gaussians

Bangalore Ravi Kiran, Senthil Yogamani|arXiv (Cornell University)|2017. 05. 25.

Video Surveillance and Tracking Methods참고 문헌 9인용 수 4

한 줄 요약

이 논문은 Viola-Jones에 영감을 받은 거부 캐스케이드를 활용해 가우시안 혼합 모델(GMM)을 분해함으로써 실시간 배경 제거를 위한 적응형 캐스케이드 가우시안을 제안한다. 이로 인해 표준 영상에서 처리 속도가 5배에서 10배 향상되고 정확도가 17% 향상된다. 시간적 일관성과 사전 분포를 활용해 신뢰도 기반 학습률 및 임계값 적응을 이끌어내어 효율적인 공간 및 시간 샘플링을 가능하게 한다.

ABSTRACT

Background-Foreground classification is a fundamental well-studied problem in computer vision. Due to the pixel-wise nature of modeling and processing in the algorithm, it is usually difficult to satisfy real-time constraints. There is a trade-off between the speed (because of model complexity) and accuracy. Inspired by the rejection cascade of Viola-Jones classifier, we decompose the Gaussian Mixture Model (GMM) into an adaptive cascade of classifiers. This way we achieve a good improvement in speed without compensating for accuracy. In the training phase, we learn multiple KDEs for different durations to be used as strong prior distribution and detect probable oscillating pixels which usually results in misclassifications. We propose a confidence measure for the classifier based on temporal consistency and the prior distribution. The confidence measure thus derived is used to adapt the learning rate and the thresholds of the model, to improve accuracy. The confidence measure is also employed to perform temporal and spatial sampling in a principled way. We demonstrate a speed-up factor of 5x to 10x and 17 percent average improvement in accuracy over several standard videos.

연구 동기 및 목표

• 픽셀 단위 모델을 사용한 실시간 배경-전경 분할에서 속도와 정확도의 상충 관계를 해결한다.
• 실시간 응용에서 전통적인 GMM 기반 배경 제거의 계산 병목 현상을 극복한다.
• 시간적 비일관성과 진동하는 픽셀을 모델링함으로써 사전 분포 학습을 통해 분류 정확도를 향상시킨다.
• 신뢰도 측도에 의해 이끌리는 원칙적인 공간 및 시간 샘플링을 통해 효율적인 계산을 가능하게 한다.
• 동적 영상 시퀀스에서 탐지 정확도를 희생시키지 않고 고속 처리를 달성한다.

제안 방법

• Viola-Jones의 거부 캐스케이드에서 영감을 얻어 가우시안 혼합 모델(GMM)을 적응형 분류기 캐스케이드로 분해하여 처리 속도를 향상시킨다.
• 다양한 시간 지속 기간에 대해 다중 커널 밀도 추정(KDE)을 학습하여 사전 분포를 모델링하고 진동하는 픽셀을 탐지한다.
• 시간적 일관성과 사전 분포를 기반으로 한 신뢰도 측도를 도입하여 학습률 및 분류 임계값을 동적으로 조정한다.
• 신뢰도 측도를 활용해 적응형 공간 및 시간 샘플링을 이끌어내어 낮은 신뢰도 픽셀에 대한 계산을 줄인다.
• 신뢰도 기반 적응을 적용해 실시간으로 모델 파라미터를 정밀 조정함으로써 노이즈와 동적 배경에 대한 강인성을 향상시킨다.
• GMM와 캐스케이드 구조를 통합하여 배경 픽셀의 조기 거부를 통해 정확도를 유지하면서 추론 속도를 가속화한다.

실험 결과

연구 질문

• RQ1 Viola-Jones에 영감을 받은 캐스케이드 아키텍처가 GMM 기반 배경 제거의 속도를 저하하지 않고 향상시킬 수 있는가?
• RQ2 시간적 일관성과 사전 분포를 어떻게 활용해 배경 제거의 분류 신뢰도를 향상시킬 수 있는가?
• RQ3 적응형 학습률 및 임계값이 진동하는 픽셀과 동적 환경에 대한 모델 강인성을 얼마나 향상시킬 수 있는가?
• RQ4 신뢰도 기반 샘플링이 실시간 영상 처리에서 계산 부담을 줄이면서도 탐지 정확도를 유지할 수 있는가?
• RQ5 GMM 기반 배경 모델링에 적응형 캐스케이드를 적용할 때 속도 향상과 정확도 향상 간의 상충 관계는 어떠한가?

주요 결과

• 제안된 방법은 실시간 영상 처리에서 표준 GMM 기반 배경 제거 방법보다 5배에서 10배 빠른 처리 속도를 달성한다.
• 기준 GMM 접근 방식과 비교해 여러 표준 영상 시퀀스에서 평균 정확도가 17% 향상된다.
• 신뢰도 측도는 진동하는 픽셀을 효과적으로 식별하여 적응형 임계값 및 학습률 조정을 통해 오분류를 줄인다.
• 신뢰도 기반 적응형 공간 및 시간 샘플링은 탐지 품질을 훼손하지 않으면서도 상당한 계산 절감을 이끈다.
• 다양한 지속 기간에 대해 다중 KDE를 사용함으로써 시간 동적 특성을 더 잘 모델링하고 배경 변화에 대한 강인성을 향상시킨다.
• 캐스케이드 구조는 배경 픽셀의 조기 거부를 가능하게 하여 처리 속도를 가속화하면서도 높은 탐지 정확도를 유지한다.