[논문 리뷰] A Multilayer-Based Framework for Online Background Subtraction with Freely Moving Cameras

Yizhe Zhu, Ahmed Elgammal|arXiv (Cornell University)|2017. 09. 04.

Video Surveillance and Tracking Methods참고 문헌 35인용 수 5

한 줄 요약

이 논문은 움직이는 카메라 영상에 적합한 다층 기반 온라인 배경 분할 프레임워크를 제안한다. 각 전경 객체와 배경을 독립적인 레이어로 모델링하고, 운동 및 외관 모델을 사용한 베이지안 필터링을 통해 확률 맵을 추론한 후, 다중 레이블 그래프 컷을 적용하여 픽셀 단위의 분할을 수행한다. 이 방법은 특히 겹치는 또는 관절 운동이 있는 복잡한 시나리오에서 최신 기술 대비 뚜렷한 성능 향상을 보인다.

ABSTRACT

The exponentially increasing use of moving platforms for video capture introduces the urgent need to develop the general background subtraction algorithms with the capability to deal with the moving background. In this paper, we propose a multilayer-based framework for online background subtraction for videos captured by moving cameras. Unlike the previous treatments of the problem, the proposed method is not restricted to binary segmentation of background and foreground, but formulates it as a multi-label segmentation problem by modeling multiple foreground objects in different layers when they appear simultaneously in the scene. We assign an independent processing layer to each foreground object, as well as the background, where both motion and appearance models are estimated, and a probability map is inferred using a Bayesian filtering framework. Finally, Multi-label Graph-cut on Markov Random Field is employed to perform pixel-wise labeling. Extensive evaluation results show that the proposed method outperforms state-of-the-art methods on challenging video sequences.

연구 동기 및 목표

• 정적 카메라를 가정하고 이진 분할만을 수행하는 전통적 배경 분할 방법의 한계를 해결하기 위해, 움직이는 카메라 조건에서 다수의 움직이는 객체가 존재할 경우 실패하는 문제를 해결한다.
• 영상 시퀀스 전반에 걸쳐 배경 및 전경 모델을 동적으로 유지하고 업데이트할 수 있는 온라인, 실시간 처리가 가능한 프레임워크를 개발한다.
• 복잡한 운동, 특히 가림 및 관절 운동이 존재하는 시나리오에서도 정확한 다중 레이블 분할을 가능하게 한다.
• 이진 분할 메트릭과는 다를 바 있는, 움직이는 카메라 상황에서의 다중 레이블 배경 분할을 위한 새로운 평가 방법론을 설계한다.

제안 방법

• 각 전경 객체와 배경은 독립적인 처리 레이어에 할당되어 운동 및 외관 모델링을 병렬로 독립적으로 수행할 수 있다.
• 각 레이어의 처리 블록은 세 단계를 수행한다: (1) 운동 벡터를 사용한 가우시안 신뢰 전파를 통한 운동 모델 추정; (2) 운동 모델 전파를 통한 외관 및 사전 확률 예측; (3) 현재 프레임의 증거를 사용한 커널 밀도 추정을 통한 확률 맵 추론.
• 베이지안 필터링 프레임워크는 과거 및 현재 증거를 통합하여 각 픽셀의 후행 확률을 레이어 전반에 걸쳐 업데이트한다.
• 정규화된 확률 맵에 마르코프 무작위 필드(Markov Random Field) 기반의 다중 레이블 그래프 컷을 적용하여 최종 픽셀 단위의 분할 결과를 도출한다.
• 시스템은 자가 초기화 및 온라인 적응을 지원하여 전체 영상 사전 로딩 없이도 실시간 처리가 가능하다.
• 지식 기반의 히든 링크를 통해 지정된 참조 영역 매칭을 기반으로 한 수정된 평가 지표를 사용하여 각 객체의 정밀도, 재현도 및 F-스코어를 계산한다.

실험 결과

연구 질문

• RQ1 움직이는 카메라 영상에서 다수의 겹치는 전경 객체가 존재할 경우 배경 분할을 효과적으로 확장할 수 있는 방법은 무엇인가?
• RQ2 각 객체를 독립적인 처리 레이어로 간주하는 다층 프레임워크가 동적 환경에서 이진 분할 대비 분할 정확도를 향상시킬 수 있는가?
• RQ3 운동 및 외관 모델링을 통한 온라인 베이지안 필터링은 어떻게 복잡한 영상 시퀀스에서 강력하고 실시간으로 다중 레이블 분할을 가능하게 하는가?
• RQ4 제안된 방법은 사전 지식이 없는 상황에서 객체 가림, 관절 운동, 초기 객체 탐지 등의 과제를 어떻게 처리하는가?

주요 결과

• Hopkins 데이터셋에서 모든 프레임에 대해 F-스코어 86.16을 기록하여 SLT(82.00) 및 베이스라인(64.35)을 크게 앞서는 성능을 보였다.
• 첫 10프레임에서 F-스코어 85.06을 기록하여 초기 지식이 제한된 상태에서도 뛰어난 성능을 보였으며, 시퀀스가 진행될수록 성능 향상이 뚜렷했다.
• 정성적 결과에서는 서로 가까이 있거나 교차하는 다수의 객체를 정확히 분리하는 것으로 확인되었고, SLT는 종종 이를 하나의 영역으로 통합하는 경향을 보였다.
• 운동 불일치 기반의 독립적 레이어 초기화 덕분에 새로운 객체가 영상에 진입하는 순간 즉시 탐지된다.
• 각 객체의 외관 모델링 덕분에 복잡한 인간 운동이 존재하는 시퀀스에서도 관절 운동을 효과적으로 처리한다.
• 계산 시간은 주로 운동 추정과 그래프 컷에 의해 차지하며, GPU 가속을 적용할 경우 최적화되지 않은 MATLAB 코드의 현재 1프레임당 약 7초의 런타임에도 불구하고 실시간 성능 달성이 가능하다.