[논문 리뷰] Fast Visual Object Tracking with Rotated Bounding Boxes

Bao Xin Chen, John K. Tsotsos|arXiv (Cornell University)|2019. 07. 08.

Video Surveillance and Tracking Methods참고 문헌 35인용 수 32

한 줄 요약

이 논문은 실시간 시각 객체 추적 방법인 SiamMask_E를 제안한다. 이 방법은 분할 마스크에 타원을 피팅하여 기울어진 경계 상자 추정을 향상시키며, GPU에서 80 fps 성능을 달성한다. VOT2019에서 정확도 65.2%와 EAO 30.9%를 기록하여 기존 SiamMask 대비 각각 5.6%와 2.6% 향상되었으며, 실시간 성능도 유지한다.

ABSTRACT

In this paper, we demonstrate a novel algorithm that uses ellipse fitting to estimate the bounding box rotation angle and size with the segmentation(mask) on the target for online and real-time visual object tracking. Our method, SiamMask_E, improves the bounding box fitting procedure of the state-of-the-art object tracking algorithm SiamMask and still retains a fast-tracking frame rate (80 fps) on a system equipped with GPU (GeForce GTX 1080 Ti or higher). We tested our approach on the visual object tracking datasets (VOT2016, VOT2018, and VOT2019) that were labeled with rotated bounding boxes. By comparing with the original SiamMask, we achieved an improved Accuracy of 0.652 and 0.309 EAO on VOT2019, which is 0.056 and 0.026 higher than the original SiamMask. The implementation is available on GitHub: https://github.com/baoxinchen/siammask_e.

연구 동기 및 목표

• 실시간 시각 객체 추적에서 기울어진 경계 상자 추정의 정확도를 향상시키기.
• 차폐 및 운동 블러 상황에서 회전 각도와 척도 추정의 계산적 과제 해결하기.
• 분할 마스크를 활용해 경계 상자 예측을 개선함으로써 최신 기술인 SiamMask 추적기의 성능 향상시키기.
• 기존 추적 프레임워크에 통합할 수 있는 빠르고 효율적인 기울어진 경계 상자 피팅 방법 개발하기.
• 배경 잡음을 줄이고 객체 방향을 인코딩하는 기울어진 경계 상자를 사용하는 VOT 벤치마크에서 더 나은 성능 달성하기.

제안 방법

• SiamMask에서 생성한 분할 마스크를 기울어진 경계 상자 추정의 입력으로 사용하기.
• 마스크에 타원 피팅을 적용하여 최적의 회전 각도 및 주/소축 길이 추정하기.
• 최적으로 피팅된 타원의 기하적 성질을 활용해 대상 물체를 격자로 둘러싸는 기울어진 직사각형 계산하기.
• 최소한의 계산 오버헤드로 타원 기반 경계 상자 추정을 SiamMask 프레임워크에 통합하기.
• 국소화 정확도를 향상시키고 드리프트를 줄이기 위해 정밀 조정 단계 적용하기.
• GPU 가속을 최적화하여 타원 피팅 프로세스를 개선함으로써 실시간 추론 속도(80 fps) 유지하기.

실험 결과

연구 질문

• RQ1 분할 마스크에 타원 피팅을 적용하면 실시간 추적에서 기울어진 경계 상자 추정의 정확도가 향상되는가?
• RQ2 IoU 및 추적 강건성 측면에서 타원 기반 경계 상자 추정과 최소 면적 경계 상자(MAB) 간의 성능 비교는 어떻게 되는가?
• RQ3 정밀 조정 단계를 추가함으로써 최종 추적 정확도와 안정성에 어떤 영향을 미치는가?
• RQ4 어려운 VOT 벤치마크에서 정확도를 향상시키면서도 높은 프레임 레이트(예: 80 fps)를 유지할 수 있는가?
• RQ5 타원 기반 방향 추정은 차폐, 운동 블러 및 자세 변화 상황에서도 더 나은 일반화 성능을 보이는가?

주요 결과

• SiamMask_E는 VOT2019에서 정확도 65.2%와 EAO 30.9%를 기록하여 기존 SiamMask 대비 각각 5.6%와 2.6% 향상되었다.
• 정밀도 분석 결과, 타원 기반 회전 추정이 최소 면적 경계 상자 방법보다 유의미하게 뛰어나다는 것이 확인되었다.
• SiamMask_E에 정밀 조정 단계를 추가하면 VOT2019에서 EAO가 0.012 향상되어 국소화 드리프트 감소 효과를 입증했다.
• GeForce GTX 1080 Ti 이상의 GPU에서 실시간 프레임 레이트 80 fps를 유지하여 실용적 구현 가능성을 확보했다.
• 정밀 조정 기능을 갖춘 SiamMask_E는 VOT2018 및 VOT2019 모든 벤치마크에서 최고 성능을 기록했으며, 정량적·정성적 평가에서 SiamMask와 SiamRPN++을 모두 압도했다.
• 정밀도 분석 결과, MAB 각도 대신 타원 각도를 사용할 경우 정밀 조정을 적용하든 말든 추적 성능 향상이 이루어짐을 확인했다.