[논문 리뷰] Robust video object tracking using particle filter with likelihood based feature fusion and adaptive template updating

Yi Dai, Bin Liu|arXiv (Cornell University)|2015. 09. 28.

Video Surveillance and Tracking Methods참고 문헌 7인용 수 4

한 줄 요약

이 논문은 밝기 변화, 혼잡한 배경, 물체 변형이 있는 복잡한 시나리오에서 성능을 높이기 위해 색상 및 텍스처 특징의 가능도 기반 융합과 척도 변화 및 가림을 처리하기 위한 적응형 템플릿 업데이트를 사용하는 입자 필터 기반 강건한 영상 객체 추적 방법을 제안한다. 이 방법은 배경 모델링을 위한 적응형 가우시안 혼합 모델과 온라인 특징 가중치를 통합하여 기존의 PF 기반 추적기들보다 훨씬 뛰어난 성능을 보이며, 특히 어두운 환경이나 복잡한 배경에서의 추적에 유리하다.

ABSTRACT

A robust algorithm solution is proposed for tracking an object in complex video scenes. In this solution, the bootstrap particle filter (PF) is initialized by an object detector, which models the time-evolving background of the video signal by an adaptive Gaussian mixture. The motion of the object is expressed by a Markov model, which defines the state transition prior. The color and texture features are used to represent the object, and a marginal likelihood based feature fusion approach is proposed. A corresponding object template model updating procedure is developed to account for possible scale changes of the object in the tracking process. Experimental results show that our algorithm beats several existing alternatives in tackling challenging scenarios in video tracking tasks.

연구 동기 및 목표

• 가림, 조도 변화, 물체 척도 변화가 있는 복잡한 영상 시나리오에서 기존 입자 필터 기반 추적기의 한계를 해결하기 위해.
• 특징 신뢰도에 따라 가중치를 적응적으로 조정하는 가능도 기반 메커니즘을 통해 색상 및 텍스처 특징을 융합하여 추적의 강건성을 향상시키기 위해.
• 물체 척도 변화 및 특징 분포 이탈에 동적으로 대응할 수 있는 온라인 템플릿 업데이트 전략을 개발하기 위해.
• 초기 물체 검출 및 추적기 안정성 향상을 위해 배경 모델링을 위한 적응형 가우시안 혼합 모델을 통합하기 위해.

제안 방법

• 시간에 따라 변화하는 배경 역학을 모델링하기 위해 적응형 가우시안 혼합(GM) 모델로 초기화된 부트스트랩 입자 필터를 사용하여 물체를 검출하고 추적한다.
• 물체를 색상 및 텍스처 특징으로 표현하며, 각 특징에 대한 마진 확률 분포를 통해 가능도를 계산한다.
• 각 프레임에서 특징의 상대적 신뢰도에 따라 색상 및 텍스처 가능도를 적응적으로 융합하는 가능도 기반 특징 융합 전략을 적용한다.
• 물체 운동 예측을 위해 마르코프 과정 기반 상태 전이 모델을 사용하며, 평균이 0인 가우시안 노이즈를 포함한다.
• 마진 가능도에 대한 통계적 검증을 통해 특징 분포의 급격한 변화를 감지하고, 이를 기반으로 적응형 템플릿 업데이트 메커니즘을 활성화한다.
• 가림 상황에서는 상태 추정을 위해 1단계 예측을 적용하여, 색상 및 텍스처 특징 둘 다 급격한 분포 이탈을 보일 경우 템플릿 업데이트를 회피한다.

실험 결과

연구 질문

• RQ1 다양한 조건에서 추적 강건성을 향상시키기 위해 입자 필터 프레임워크 내에서 색상 및 텍스처 특징을 최적화하여 융합하는 방법은 무엇인가?
• RQ2 물체가 가림 또는 척도 변화와 같은 중대한 변화를 겪을 때 이를 신뢰성 있게 감지하고 템플릿 업데이트가 필요한지를 판단하는 기준은 무엇인가?
• RQ3 제안된 가능도 기반 특징 융합 메커니즘은 동일 가중치 또는 단일 특징 융합 대비 추적 정확도에서 어떻게 비교되는가?
• RQ4 적응형 템플릿 업데이트 전략은 척도 변화 및 배경 혼잡이 있는 상황에서 성능 향상에 기여하는가?
• RQ5 배경 모델링을 위한 가우시안 혼합 모델 통합이 추적기 초기화 및 잡음에 대한 저항성 향상에 얼마나 기여하는가?

주요 결과

• 제안된 알고리즘은 두 테스트 케이스 전반에서 ALG I, ALG II, ALG III, ALG IV보다 추적 정확도가 뛰어나며, 특히 조도 변화와 배경 혼동 상황에서 뛰어난 성능을 보였다.
• 케이스 I(어두운 터널에서 차량 이동)에서는 차량의 후미등이 켜지면서 색상 특징에 급격한 변화가 발생했음에도 불구하고 추적기가 고정된 정확도를 유지했으며, ALG I는 색상 특징 열화로 인해 실패했다.
• 케이스 II(수풀을 통과하는 헬리콥터)에서는 제안된 방법이 부분적인 가림과 배경 혼합 상황에서도 성공적으로 물체를 추적했으나, ALG I 및 ALG III는 나뭇잎 뭉치를 물체로 잘못 식별하여 조기에 실패했다.
• 특징 융합 메커니즘이 색상 및 텍스처 특징의 기여도를 동적으로 조정함을 입증하였으며, 그림 3의 사후 확률 도표에서 특징 분포 이탈 시 적응적인 가중치 조정이 이루어진 것으로 확인되었다.
• 프레임당 평균 계산 시간이 8.632초로, ALG III(7.797초) 및 ALG IV(9.255초)보다 뛰어나 정확도와 효율성 사이의 유리한 균형을 확보했다.
• 적응형 템플릿 업데이트 메커니즘이 척도 변화를 성공적으로 처리함을 그림 2의 추적 박스 크기 변화를 통해 확인하였으며, 이는 동적인 환경에서의 효과성을 입증한다.