[논문 리뷰] A multi-feature tracking algorithm enabling adaptation to context variations

Duc Phu Chau, François Brémond외 1명|arXiv (Cornell University)|2011. 12. 06.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

이 논문은 Adaboost를 통해 최적의 특징 가중치를 학습함으로써 다양한 시나리오 맥락에 적응하는 다중 특징 추적 알고리즘을 제안한다. 이 알고리즘은 시간 창과 궤적 필터링을 통해 HOG, 색상 히스토GRAM, 공간 피라미드 거리 등을 포함한 8개의 특징을 융합하여, 특히 음영과 조명 변화 상황에서도 강건성을 향상시킨다. 공개 데이터셋과 실제 영상 시퀀스에서 최신 기술들을 능가한다.

ABSTRACT

We propose in this paper a tracking algorithm which is able to adapt itself to different scene contexts. A feature pool is used to compute the matching score between two detected objects. This feature pool includes 2D, 3D displacement distances, 2D sizes, color histogram, histogram of oriented gradient (HOG), color covariance and dominant color. An offline learning process is proposed to search for useful features and to estimate their weights for each context. In the online tracking process, a temporal window is defined to establish the links between the detected objects. This enables to find the object trajectories even if the objects are misdetected in some frames. A trajectory filter is proposed to remove noisy trajectories. Experimentation on different contexts is shown. The proposed tracker has been tested in videos belonging to three public datasets and to the Caretaker European project. The experimental results prove the effect of the proposed feature weight learning, and the robustness of the proposed tracker compared to some methods in the state of the art. The contributions of our approach over the state of the art trackers are: (i) a robust tracking algorithm based on a feature pool, (ii) a supervised learning scheme to learn feature weights for each context, (iii) a new method to quantify the reliability of HOG descriptor, (iv) a combination of color covariance and dominant color features with spatial pyramid distance to manage the case of object occlusion.

연구 동기 및 목표

• 객체 밀도, 조명, 음영 빈도 등의 다양한 시나리오 맥락에 자동으로 적응하는 추적 알고리즘 개발
• 다양한 환경에서 수동으로 특징 가중치를 조정하는 문제를 해결하기 위해 오프라인 학습 과정 도입
• 특징 융합과 신뢰도 측정을 통해 저대비, 깊이 변화, 객체 음영과 같은 복잡한 상황에서의 추적 강건성 향상
• 시간적 일관성과 궤적 필터링 메커니즘의 융합을 통해 잘못된 검출 수와 궤적 손실 감소
• 객체 경로나 고정된 운동 모델에 대한 사전 지식이 없이도 맥락 인식 추적 가능

제안 방법

• 2D/3D 이동 거리, 2D 크기 비율과 면적, 색상 히스토GRAM, HOG, 색상 공분산, 주된 색상 등 총 8개의 기술자 집합을 특징 풀로 구성
• 시간 창 내에서 이러한 특징의 가중 조합을 사용해 검출된 객체 간의 유사도를 계산하여 객체 대응 관계 설정
• 라벨이 부여된 훈련 시퀀스를 사용해 오프라인 Adaboost 기반 학습 기법을 적용하여 각 맥락에 최적의 특징 가중치 자동 결정
• 특히 시야가 불량한 상황에서 HOG 기술자의 기여도를 높이기 위해 신뢰도 지표 도입
• 색상 공분산과 주된 색상, 공간 피라미드 거리를 융합하여 부분적 또는 완전한 음영 상황에서도 성능 향상
• 일관성과 시간적 공명성을 기반으로 프레임 간 분석하여 잡음이 많은 트랙을 제거하는 궤적 필터 적용

실험 결과

연구 질문

• RQ1 수동 조정 없이 추적 시스템이 다양한 시나리오 맥락에 특징 선택 및 가중치 조정을 자동으로 적응할 수 있는가?
• RQ2 음영과 저조도와 같은 도전적인 조건에서 가장 강력한 추적 성능을 보이는 시각적 특징 조합은 무엇인가?
• RQ3 Adaboost와 같은 지도 학습 접근법이 맥락 기반 특징 가중치를 효과적으로 학습하여 추적 정확도와 안정성을 향상시킬 수 있는가?
• RQ4 색상 특징과 함께 공간 피라미드 거리 통합이 객체 음영 상황에서 추적 강건성에 어떻게 기여하는가?
• RQ5 제안된 방법이 다양한 실제 영상 시퀀스에서 기존 최신 기술보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• ETISEO 영상 시퀀스 2개(BE 및 MO)에서 16개 평가 지표 중 12개에서 최고 성능 기록, BE 시퀀스 평균 F1 스코어 0.93로 최고 기록
• Caviar 데이터셋에서 9개 궤적 전부를 성공적으로 추적(TP=9), 참 음영 수가 0(FN=0)이며, [snidaro]의 경우 7개에서 3개로 잘못된 양성 수 감소
• 저대비, 고깊이 시퀀스(ETI-VS1-MO-7-C1)에서 학습 과정이 색상 공분산을 주요 특징으로 선정하여, 낮은 시야 조건에서의 효과성 확인
• 단일 인물 시퀀스(ETI-VS1-BE-18-C4)에서 3D 이동 거리가 가장 구분력 있는 특징으로 확인되어 강건성 향상
• 색상 공분산, 주된 색상, 공간 피라미드 거리의 조합이 개별 특징보다 음영 처리 능력 향상에 뚜렷한 기여
• 오프라인 Adaboost 학습 과정이 맥락 기반 특징 가중치를 성공적으로 식별하여, 다양한 환경에서의 방법의 적응 가능성 검증