[논문 리뷰] Object Detection by Spatio-Temporal Analysis and Tracking of the Detected Objects in a Video with Variable Background

Kumar S. Ray, Vijayan K. Asari외 1명|arXiv (Cornell University)|2017. 04. 28.

Video Surveillance and Tracking Methods참고 문헌 1인용 수 6

한 줄 요약

이 논문은 배경이 변하는 영상에서 움직이는 물체를 탐지하고 추적하기 위한 새로운 방법을 제안한다. 3D 가우버 필터 베이스의 시공간 분석을 통해 운동 블롭을 추출하고, 이를 최소 스패닝 트리(Minimum Spanning Tree)를 이용해 완전한 물체로 통합한다. 추적은 특징 기반 선형 할당 문제(Linear Assignment Problem)와 칼만 필터링을 통해 수행되며, 초기화나 학습 데이터 없이도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper we propose a novel approach for detecting and tracking objects in videos with variable background i.e. videos captured by moving cameras without any additional sensor. In a video captured by a moving camera, both the background and foreground are changing in each frame of the image sequence. So for these videos, modeling a single background with traditional background modeling methods is infeasible and thus the detection of actual moving object in a variable background is a challenging task. To detect actual moving object in this work, spatio-temporal blobs have been generated in each frame by spatio-temporal analysis of the image sequence using a three-dimensional Gabor filter. Then individual blobs, which are parts of one object are merged using Minimum Spanning Tree to form the moving object in the variable background. The height, width and four-bin gray-value histogram of the object are calculated as its features and an object is tracked in each frame using these features to generate the trajectories of the object through the video sequence. In this work, problem of data association during tracking is solved by Linear Assignment Problem and occlusion is handled by the application of kalman filter. The major advantage of our method over most of the existing tracking algorithms is that, the proposed method does not require initialization in the first frame or training on sample data to perform. Performance of the algorithm has been tested on benchmark videos and very satisfactory result has been achieved. The performance of the algorithm is also comparable and superior with respect to some benchmark algorithms.

연구 동기 및 목표

• 이동 카메라로 촬영한 배경이 변하는 영상에서 움직이는 물체를 탐지하고 추적하는 과제를 해결하기 위해.
• 물체 탐지 및 추적에서 사전 장면 지식, 배경 모델링, 또는 학습 데이터가 필요 없도록 하기 위해.
• 시공간 분석과 특징 기반 추적을 통해 음영 및 배경 변화를 효과적으로 처리할 수 있는 강건한 방법을 개발하기 위해.
• 일조 변화 및 물체 간 근접성과 같은 동적 조건에서도 높은 정확도와 안정성을 확보하기 위해.
• 공간적 또는 시간적 초기화 없이도 첫 번째 프레임에서 완전 자동으로 작동하는 시스템을 제공하기 위해.

제안 방법

• 연속된 영상 프레임의 시공간 블록을 분석하기 위해 3D 가우버 필터 베이스를 적용하여 고운동 에너지 영역을 탐지한다.
• 3D 가우버 출력에 선택적 평균 방법을 적용하여 시공간 블롭을 생성하고, 노이즈 및 정보가 없는 픽셀을 억제한다.
• 공간적 및 특징 유사도를 기반으로 크루스칼의 최소 스패닝 트리(Kruskal’s Minimum Spanning Tree, KMST)를 사용해 동일 물체의 분리된 블롭 부분을 통합한다.
• 각 탐지된 물체를 높이, 너비 및 4바이너리 회색 수치 히스토그램을 특징으로 사용하여 특징적으로 표현한다.
• 연속된 프레임 간의 특징을 연결하기 위해 선형 할당 문제(Linear Assignment Problem, LAP)를 풀어 물체를 추적한다.
• 칼만 필터를 사용해 물체 상태를 예측하고 일시적인 음영을 처리함으로써 추적의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 배경 모델링 없이 3D 가우버 필터링을 활용한 시공간 분석이 배경이 변하는 영상에서 움직이는 물체를 효과적으로 탐지할 수 있는가?
• RQ2 최소 스패닝 트리 접근법이 동적 환경에서 분할된 운동 블롭을 일관된 물체로 통합하는 데 얼마나 효과적인가?
• RQ3 기준 벤치마크 데이터셋에서 성능 평가 지표(정밀도 및 성공률) 측면에서 제안된 방법이 최신 기술 수준의 추적 알고리즘을 얼마나 뛰어넘는가?
• RQ4 복잡한 영상 시퀀스에서 음영 처리 및 초기화 없이 추적하는 데 시스템이 얼마나 잘 작동하는가?
• RQ5 학습 또는 초기화 없이도 일조 변화 및 물체 간 근접성과 같은 다양한 영상 조건에서도 높은 성능을 유지할 수 있는가?

주요 결과

• 표준 겹침 임계치(t₀ = 0.5)를 사용하여 TB50 및 TB100 벤치마크 데이터셋에서 평균 성공률 87.71%와 평균 정밀도 80.73%를 달성했다.
• 공간적 강건성 평가(Spatial Robustness Evaluation, SRE)에서 본 알고리즘은 STC와 같은 방법들과 달리 공간적 초기화에 의존하지 않아 우수한 성능를 보였다.
• 시간적 강건성 평가(Temporal Robustness Evaluation, TRE)에서 본 방법은 장기 학습이 아닌 단기 시간 정보에 의존하므로 강력한 성능 유지를 보였다.
• 모든 프레임(첫 번째 6프레임 제외)에서 물체를 탐지하고 추적할 수 있어 시간적 초기화에 대한 강건성을 입증했다.
• 면적 하에 곡선(AUC) 및 중심 위치 오차(Center Location Error, CLE) 측정 기준으로, 척도 변화, 운동 블러, 일조 변화, 음영과 같은 네 가지 속성 모두에서 최신 기술 수준의 방법들 [5, 16, 23]과 비교해 뛰어난 성능 또는 동등한 성능을 보였다.
• 시스템은 영상 전체 기간 동안 두드러진 움직이는 물체를 자동으로 탐지하며, 짧은 음영도 블롭 생성이나 추적의 연속성에 영향을 주지 않는다.