[논문 리뷰] Effects of Blur and Deblurring to Visual Object Tracking

Qing Guo, Wei Feng외 4명|arXiv (Cornell University)|2019. 08. 21.

Video Surveillance and Tracking Methods참고 문헌 57인용 수 7

한 줄 요약

이 논문은 100개의 장면에서 500개의 영상으로 구성된 블러드 비디오 트래킹(BVT) 벤치마크를 소개하며, 다양한 운동 블러 수준을 고려하여 트래커의 강건성에 대해 정량적으로 평가한다. 또한, 블러 정도를 평가하기 위해 미세조정된 DeblurGAN 생성판별기 기반의 적응형 탈블러링 기법을 제안한다. 이 기법은 트래킹 중 프레임을 선택적으로 탈블러링하여, 특히 심한 블러 영상에서 6개의 최신 트래커의 정확도를 향상시킨다.

ABSTRACT

Intuitively, motion blur may hurt the performance of visual object tracking. However, we lack quantitative evaluation of tracker robustness to different levels of motion blur. Meanwhile, while image deblurring methods can produce visually clearer videos for pleasing human eyes, it is unknown whether visual object tracking can benefit from image deblurring or not. In this paper, we address these two problems by constructing a Blurred Video Tracking benchmark, which contains a variety of videos with different levels of motion blurs, as well as ground truth tracking results for evaluating trackers. We extensively evaluate 23 trackers on this benchmark and observe several new interesting results. Specifically, we find that light blur may improve the performance of many trackers, but heavy blur always hurts the tracking performance. We also find that image deblurring may help to improve tracking performance on heavily blurred videos but hurt the performance on lightly blurred videos. According to these observations, we propose a new GAN based scheme to improve the tracker robustness to motion blurs. In this scheme, a finetuned discriminator is used as an adaptive assessor to selectively deblur frames during the tracking process. We use this scheme to successfully improve the accuracy and robustness of 6 trackers.

연구 동기 및 목표

• 다양한 수준의 운동 블러에 대한 시각적 객체 트래커의 강건성 평가를 위한 종합적인 벤치마크 수립.
• 최신 이미지 탈블러링 기법이 다양한 블러 조건에서 시각적 객체 트래킹 성능에 향상 또는 악화시키는지 조사.
• 가벼운 블러 또는 선명한 프레임에서 성능이 떨어지지 않도록 일반화된 적응형 탈블러링 전략 개발.
• 다양한 블러 수준에서 다수의 최신 트래커에 대해 제안된 방법의 효과성 검증.

제안 방법

• 100개 장면에서 500개의 영상으로 구성된 새로운 블러드 비디오 트래킹(BVT) 벤치마크를 구축하며, 각 장면에서 블러 수준이 점차 증가하는 5개의 영상 포함.
• 트래커 성능과 블러 강건성을 측정하기 위해 AUC, 정밀도, 성공률의 세 가지 평가 지표를 사용.
• 블러 심도에 따라 각 프레임을 탈블러링할지 여부를 결정하기 위해, 미세조정된 DeblurGAN 생성판별기를 적응형 블러 평가기로 활용.
• 실시간으로 원본 또는 탈블러링된 검색 영역을 사용할지 결정하기 위해 평가기를 적용하며, 더 높은 객체 가능성에 해당하는 바운딩 박스를 선택.
• 관측 모델를 수정하여 7개의 기존 트래커(E.g., ECO, STRCF, SiamFC)에 적응형 탈블러링 기법을 통합하여 필요에 따라 탈블러링된 특징을 통합.
• 원본 프레임과 탈블러링된 프레임의 생성판별기 출력값 간 차이에 임계값(θ = 2.5)을 설정하여, 블러가 심할 경우에만 탈블러링을 트리거.

실험 결과

연구 질문

• RQ1 다양한 수준의 운동 블러가 현대의 시각적 객체 트래커 성능에 미치는 영향은 무엇인가?
• RQ2 최신 이미지 탈블러링 기법을 적용할 경우, 다양한 블러 수준에서 시각적 객체 트래킹 성능은 향상되거나 악화되는가?
• RQ3 학습된 블러 평가에 의해 트리거되는 적응형 탈블러링 전략은, 가벼운 블러 또는 선명한 프레임에서 성능이 떨어지지 않도록 트래커의 강건성을 향상시킬 수 있는가?
• RQ4 제안된 적응형 탈블러링 기법은 기존 최신 트래커의 정확도와 강건성을 어느 정도 향상시킬 수 있는가?

주요 결과

• 경미한 블러는 많은 트래커의 성능을 향상시키며, 선명한 영상보다 경미한 블러 영상에서 더 높은 AUC 점수를 기록함으로써 이를 뒷받침한다.
• 심한 블러는 대부분의 트래커에서 정확도를 지속적으로 떨어뜨리며, BVT 벤치마크에서 뚜렷한 성능 저하가 관찰된다.
• DeblurGAN 및 SRN과 같은 탈블러링 기법은 심한 블러 영상에서 트래킹 성능을 향상시키지만, 가벼운 블러 또는 선명한 영상에서는 정확도를 감소시킨다.
• 미세조정된 DeblurGAN 생성판별기를 사용한 제안된 적응형 탈블러링 기법은 평가된 7개 트래커 중 6개의 정확도를 향상시켰으며, BT_ganbrt는 원본 BT 대비 9.3%의 상대적 향상률을 기록했다.
• STRCF_ganbrt, ECO_ganbrt, SiamFC_ganbrt는 모든 블러 수준에서 원본 버전을 초월하며, 이는 제안된 방법의 일반화 가능성에 기여한다.
• Staple_CA_ganbrt는 2.5%의 상대적 향상률을 기록했고, fDSST_ganbrt는 선명한 영상에서 fDSST보다 약간 열악한 성능을 보이며, 일부 경우에 탈블러링 아티팩트에 민감함을 나타낸다.