[논문 리뷰] Saliency-Enhanced Robust Visual Tracking

Çağlar Aytekin, Francesco Cricri외 1명|arXiv (Cornell University)|2018. 02. 08.

Video Surveillance and Tracking Methods참고 문헌 12인용 수 3

한 줄 요약

이 논문은 깊이 있는 주목할 만한 객체 검출 특징을 이산 상관 필터(DCF)-기반 프레임워크에 통합한 주목도 강화 시각 추적기인 ECOSAL을 제안한다. 시간적 일관성을 기반으로 주목도 반응을 적응적으로 가중함으로써 시야각 변화 및 외관 변화에 대한 강인성을 향상시키며, OTB-2013 및 UAV-123 벤치마크에서 도전적인 시퀀스에서 최신 기술 수준의 성능을 달성하며 9.3 fps로 실시간 성능을 유지한다.

ABSTRACT

Discrete correlation filter (DCF) based trackers have shown considerable success in visual object tracking. These trackers often make use of low to mid level features such as histogram of gradients (HoG) and mid-layer activations from convolution neural networks (CNNs). We argue that including semantically higher level information to the tracked features may provide further robustness to challenging cases such as viewpoint changes. Deep salient object detection is one example of such high level features, as it make use of semantic information to highlight the important regions in the given scene. In this work, we propose an improvement over DCF based trackers by combining saliency based and other features based filter responses. This combination is performed with an adaptive weight on the saliency based filter responses, which is automatically selected according to the temporal consistency of visual saliency. We show that our method consistently improves a baseline DCF based tracker especially in challenging cases and performs superior to the state-of-the-art. Our improved tracker operates at 9.3 fps, introducing a small computational burden over the baseline which operates at 11 fps.

연구 동기 및 목표

• 시야각 변화 및 외관 변동과 같은 어려운 상황에서 DCF 기반 시각 추적기의 강인성을 향상시키기.
• HoG, CNN 활성화 등 저수준 및 중간 수준 특징의 큰 외관 및 시야각 변화 처리 능력의 한계를 해결하기.
• 깊이 있는 주목할 만한 객체 검출을 통해 더 높은 수준의 의미 정보를 활용하여 추적 신뢰도를 향상시키기.
• 시간적 일관성에 기반해 주목도 특징의 영향력을 동적으로 조정하는 적응형 융합 메커니즘 개발하기.
• 지나친 계산 부담 없이 빠르고 정확한 주목도 검출을 통합하여 실시간 성능를 유지하기.

제안 방법

• ECOSAL 추적기 프레임워크에 깊이 있는 주목할 만한 객체 검출 출력을 추가 특징 스트림으로 통합하기.
• 주목도 특징과 기존 특징(HoG, VGG-16 conv1/conv5)에 대해 별도의 상관 필터를 학습하여 독립적으로 처리하기.
• 시간적 일관성에 기반해 주목도 특징의 영향력을 시간에 따라 적응적으로 조정하는 가중 메커니즘 적용하기.
• 주목도 예측을 정밀하게 하기 위해 전체 검색 영역에서 주목도 특징을 추출하지만 더 넓은 맥락을 사용하기.
• 신뢰도 기반 메트릭을 사용해 추적 중에 일관성 없는 주목도 반응을 억제하여 신뢰할 수 없는 검출에서 발생하는 노이즈 감소시키기.
• 주목도 안정성에 따라 프레임별로 동적으로 조정되는 적응 가중치를 기반으로 통합 필터 반응을 사용해 추적기 업데이트하기.

실험 결과

연구 질문

• RQ1 깊이 있는 주목할 만한 객체 검출 특징을 통합하면 DCF 기반 추적기의 어려운 시각 추적 상황에서의 강인성이 향상되는가?
• RQ2 의미적으로 강인한 것으로 알려진 주목도 특징을 저수준 및 중간 수준 특징과 DCF 프레임워크에서 효과적으로 융합할 수 있는가?
• RQ3 주목도 맵의 시간적 일관성 부족이 추적기 성능에 미치는 영향은 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ4 제안된 적응형 융합 전략이 고정 가중치 또는 연결 기반 융합 방법보다 정확도 및 강인성 측면에서 뛰어나게 성능을 높이는가?
• RQ5 주목도 특징 통합이 계산 부담을 최소화하면서도 실시간 성능를 유지할 수 있는가?

주요 결과

• ECOSAL은 OTB-2013 데이터셋에서 일회 평가 조건에서 평균 정확도 0.715를 달성하여 ECO*, MDNet, SANet, MCPF, CCOT 등 최신 기술 수준의 방법들을 능가한다.
• UAV-123 벤치마크에서 ECOSAL은 12개 시퀀스 중 10개에서 뛰어난 성능를 기록하였으며, 모든 시퀀스에서 평균 정확도 0.707로 최고 성능를 기록했다.
• 전체적으로 ECOSAL은 전면 차폐(FO) 및 해상도 낮음(LR)를 제외한 모든 어려운 케이스에서 기본 ECO 대비 일관된 성능 향상을 보였다. 이는 공간적 지원이 제한되어 있어 성능가 약간 떨어지기 때문이다.
• 간단한 강인성 분석 결과 ECOSAL은 조명 변화, 차폐 등의 공간적 도전과 정면 회전, 변형 등의 시간적 도전에서 모두 ECO를 뛰어넘는 성능를 보였다.
• ECOSAL은 9.3 fps로 작동하며, 기준 ECO(11 fps) 대비 거의 무시할 수 없는 계산 부담을 유발하여 효과적인 실시간 효율성을 입증했다.
• 적응형 가중 메커니즘이 시간적으로 일관되지 않은 주목도 예측을 성공적으로 억제하여 외관 및 시야각 변화 상황에서 추적기의 안정성을 향상시켰다.