[논문 리뷰] An Efficient Approach for Object Detection and Tracking of Objects in a Video with Variable Background

Kumar S. Ray, Soma Chakraborty|arXiv (Cornell University)|2017. 05. 11.

Video Surveillance and Tracking Methods참고 문헌 2인용 수 8

한 줄 요약

이 논문은 카메라의 움직임으로 인한 가짜 운동을 보정하기 위해 단위상 상관관계와 푸리에 이동 정리(Fourier shift theorem)를 사용하여 배경이 변화하는 비디오에서 움직이는 물체를 탐지하고 추적하기 위한 초기화가 필요 없는 새로운 방법을 제안한다. 최근 프레임 기록을 기반으로 다이나믹한 배경 모델을 구성하고, 이중 단계의 형태학적 연산을 적용함으로써 정확한 전경 탐지와 칼만 필터 기반 추적을 달성하였으며, 훈련 데이터나 수동 초기화 없이도 벤치마크 데이터셋에서 뛰어난 성능을 발휘한다.

ABSTRACT

This paper proposes a novel approach to create an automated visual surveillance system which is very efficient in detecting and tracking moving objects in a video captured by moving camera without any apriori information about the captured scene. Separating foreground from the background is challenging job in videos captured by moving camera as both foreground and background information change in every consecutive frames of the image sequence; thus a pseudo-motion is perceptive in background. In the proposed algorithm, the pseudo-motion in background is estimated and compensated using phase correlation of consecutive frames based on the principle of Fourier shift theorem. Then a method is proposed to model an acting background from recent history of commonality of the current frame and the foreground is detected by the differences between the background model and the current frame. Further exploiting the recent history of dissimilarities of the current frame, actual moving objects are detected in the foreground. Next, a two-stepped morphological operation is proposed to refine the object region for an optimum object size. Each object is attributed by its centroid, dimension and three highest peaks of its gray value histogram. Finally, each object is tracked using Kalman filter based on its attributes. The major advantage of this algorithm over most of the existing object detection and tracking algorithms is that, it does not require initialization of object position in the first frame or training on sample data to perform. Performance of the algorithm is tested on benchmark videos containing variable background and very satisfiable results is achieved. The performance of the algorithm is also comparable with some of the state-of-the-art algorithms for object detection and tracking.

연구 동기 및 목표

• 움직이는 카메라로 촬영된 배경이 변화하는 비디오에서 움직이는 물체를 탐지하고 추적하는 과제를 해결한다.
• 카메라 움직임으로 인한 가짜 운동으로 인해 실패하는 전통적인 배경 분할 방법의 한계를 극복한다.
• 장면 지식, 물체 형상, 훈련 데이터에 대한 사전 지식이 필요 없는 방법을 개발한다.
• 실제 감시 환경에서의 가림, 조명 변화, 배경 혼잡함에 대해 강건성을 확보한다.
• 주파수 도메인 분석과 형태학적 정제를 통해 높은 정확도와 효율성을 달성한 물체 탐지 및 추적을 실현한다.

제안 방법

• 푸리에 이동 정리( Fourier shift theorem)에 기반하여 주파수 도메인에서 단위상 상관관계를 사용해 연속 프레임 간의 가짜 운동을 추정하고 보정한다.
• 현재 프레임과 최근 이전 프레임들 간의 공통성을 분석하여 다이나믹한 배경 모델을 구성함으로써 깜빡임과 노이즈를 감소시킨다.
• 현재 프레임과 배경 모델 간의 이질성을 계산하여 전경을 탐지하고, 최근 기록에 집중함으로써 실제로 움직이는 물체를 분리한다.
• 이중 단계의 형태학적 연산을 적용하여 물체 영역을 정제하고, 물체 크기에 최적화하며 분할을 줄인다.
• 각 탐지된 물체를 중심점, 치수, 그리고 회색 수치 히스토그램의 세 번째 높은 피크를 사용해 강건한 특징 기술자로 표현한다.
• 물체 특징(중심점, 치수, 강도 분포)을 활용하여 트랙 지속성과 가림을 처리하는 칼만 필터를 사용해 물체를 추적한다.

실험 결과

연구 질문

• RQ1 움직이는 카메라로 촬영된 비디오에서 배경의 가짜 운동을 효율적으로 추정하고 보정할 수 있는가?
• RQ2 사전 장면 지식이나 훈련 데이터 없이 다이나믹한 배경 모델을 구성할 수 있는가?
• RQ3 프레임 기록을 활용해 깜빡임 배경이나 노이즈에서 실제로 움직이는 물체를 신뢰성 있게 분리할 수 있는가?
• RQ4 어떤 형태학적 연산이 물체 영역을 정밀하게 정제하여 정확한 추적을 가능하게 하는가?
• RQ5 최소한의 특징 표현을 사용한 칼만 필터링이 복잡한 배경에서 다수의 물체를 효과적으로 추적하고 가림을 처리할 수 있는가?

주요 결과

• 제안된 알고리즘은 HOG 기반 KCF 및 MCT와 같은 최첨단 기법과 비교해도 동등하거나 뛰어난 성능을 보이며, 배경이 변화하는 벤치마크 비디오에서 검증되었다.
• 가림, 회전(면 내 및 면 외), 변형, 배경 혼잡함에 대해 강건함을 입증하였다.
• BDF보다 모든 시나리오에서 성능이 뛰어나며, 오직 가림 상황을 제외하고는 복잡한 시각적 과제에 강력한 저항성을 보였다.
• 광학 흐름이나 특징점 추적에 비해 단위상 상관관계를 활용한 운동 보정이 계산 복잡도를 감소시켰다.
• 이중 단계의 형태학적 연산은 물체 영역을 효과적으로 정제하여 서로 가까이 있는 물체의 정확한 추적을 가능하게 하였다.
• 중심점, 치수, 강도 히스토그램 피크를 포함한 물체 특징과 결합된 칼만 필터는 데이터 연동 문제를 성공적으로 해결하고 트랙 지속성을 유지하였다.