[논문 리뷰] Non-rigid Object Tracking via Deep Multi-scale Spatial-temporal Discriminative Saliency Maps

Pingping Zhang, Wei Liu외 5명|arXiv (Cornell University)|2018. 02. 22.

Video Surveillance and Tracking Methods참고 문헌 68인용 수 12

한 줄 요약

이 논문은 비정형 물체 추적을 위해 다중 척도 시공간 분류 자극 지도를 활용하는 딥러닝 기반 비정형 추적 방법을 제안한다. 이는 유연한 완전 컨volution 네트워크(TFCN)와 다중 영역 자극 지도의 가중 엔트로피 융합을 통해 어려운 시퀀스에서 정확한 픽셀 단위 추적 성능을 향상시키며, 비정형 데이터셋에서 경계 상자 및 세그멘테이션 겹침 비율 모두에서 최신 기술을 능가한다.

ABSTRACT

In this paper, we propose a novel effective non-rigid object tracking framework based on the spatial-temporal consistent saliency detection. In contrast to most existing trackers that utilize a bounding box to specify the tracked target, the proposed framework can extract accurate regions of the target as tracking outputs. It achieves a better description of the non-rigid objects and reduces the background pollution for the tracking model. Furthermore, our model has several unique features. First, a tailored fully convolutional neural network (TFCN) is developed to model the local saliency prior for a given image region, which not only provides the pixel-wise outputs but also integrates the semantic information. Second, a novel multi-scale multi-region mechanism is proposed to generate local saliency maps that effectively consider visual perceptions with different spatial layouts and scale variations. Subsequently, local saliency maps are fused via a weighted entropy method, resulting in a final discriminative saliency map. Finally, we present a non-rigid object tracking algorithm based on the predicted saliency maps. By utilizing a spatial-temporal consistent saliency map (STCSM), we conduct target-background classification and use a simple fine-tuning scheme for online updating. Extensive experiments demonstrate that the proposed algorithm achieves competitive performance in both saliency detection and visual tracking, especially outperforming other related trackers on the non-rigid object tracking datasets.

연구 동기 및 목표

• 경계 상자 기반 방법에서 흔히 발생하는 배경 오염을 방지하고 정확한 픽셀 단위 세그멘테이션을 통해 비정형 물체 추적의 과제를 해결한다.
• 부정확한 추적의 원인이 되는 음영 변화, 가림, 자세 변화에 대응하기 위해 자극 지도 검출에 공간-시간 일관성을 통합하여 추적의 견고성을 향상시킨다.
• 지속적인 의미 이해와 척도 인식 능력을 갖춘 로컬 자극 지도 사전 지식을 모델링하는 딥러닝 프레임워크를 개발하여 목표물과 배경의 분류 성능을 향상시킨다.
• 시간이 지남에 따라 나타나는 외관 변화를 포괄하기 위해 단순한 피니팅 스킴을 통해 온라인 모델 적응을 가능하게 한다.

제안 방법

• 자극 지도 검출 데이터셋에서 훈련된 맞춤형 완전 컨volution 신경망(TFCN)이 픽셀 단위 출력과 통합된 의미적 맥락을 갖춘 국소 자극 지도를 예측한다.
• 다중 척도 다중 영역 메커니즘이 다양한 공간 레이아웃과 척도에서 이미지 영역을 분석하여 다수의 국소 자극 지도를 생성한다.
• 가중 엔트로피 방법을 사용해 자극 지도를 융합하여 목표물에 초점을 맞추고 배경을 억제하는 최종 분류 자극 지도를 생성한다.
• 온라인 목표물-배경 분류를 위해 공간-시간 일관성 자극 지도(STCSM) 모델을 사용한다.
• 모델 업데이트와 프레임 간 외관 변화에 대한 적응을 위해 단순한 온라인 피니팅 스킴을 적용한다.
• 표준 벤치마크인 OTB-50 및 비정형 추적 데이터셋에서 경계 상자 및 세그멘테이션 겹침 비율을 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 정확한 픽셀 단위 세그멘테이션을 생성함으로써 딥 자극 지도 검출 프레임워크가 비정형 물체 추적 성능 향상에 효과적으로 적용될 수 있는가?
• RQ2 다중 척도 및 다중 영역 자극 지도 생성 방식이 체계적 변화나 체계적 레이아웃 변화에 대해 추적의 견고성을 어떻게 향상시키는가?
• RQ3 자극 지도의 공간-시간 일관성이 음영 및 외관 이탈 상황에서 추적 성능을 얼마나 향상시키는가?
• RQ4 가중 엔트로피 융합된 자극 지도가 단일 척도 또는 융합되지 않은 접근 방식보다 분류 성능 향상에 더 효과적인가?
• RQ5 제안된 방법이 강성 물체와 비정형 물체 추적 벤치마크 모두에 대해 얼마나 일반화되는가?

주요 결과

• 제안된 추적기는 비정형 추적 시퀀스에서 평균 세그멘테이션 겹침 비율 55.0%를 달성하여 기준 모델 및 최신 기술 대비 뚜렷한 승리를 거두었다.
• 어려운 다이빙 시퀀스에서 다른 추적기는 목표물을 재확인하지 못하는 동안 제안된 추적기는 완전한 음영 후에도 목표물을 성공적으로 복구했다.
• 추론 분석 결과에서 척도 의존성 자극 지도 융합 또는 시간적 누적 기능을 제거할 경우 성능이 55.0%에서 36.8%로 감소하여 두 구성 요소가 필수적임을 입증했다.
• OTB-50 벤치마크에서 경쟁력 있는 성능(정밀도 = 0.842, 성공률 = 0.561)을 기록하여 두 지표에서 제2의 비정형 추적기(OGBT)를 모두 능가했다.
• 정성적 결과에서는 고르고 명확한 경계선과 더불어 복잡한 시퀀스(예: 운동선수, 높이 뛰기)에서 의미적 맥락 유지가 뛰어난 더 매끄러운 추적 출력을 보였다.
• 이 추적기는 경계 상자 기반 방법보다 더 정보가 풍부한 픽셀 단위 자극 지도를 생성하여, 변형되거나 관절이 있는 물체의 경우 특히 유리하다.