[논문 리뷰] Fully Convolutional Online Tracking

Yutao Cui, Cheng Jiang외 2명|arXiv (Cornell University)|2020. 04. 15.

Video Surveillance and Tracking Methods인용 수 15

한 줄 요약

이 논문은 분류기 및 회귀기 브랜치에 대한 온라인 학습을 가능하게 하는 완전 컨볼루션형 온라인 추적 프레임워크인 FCOT을 제안한다. 이는 새로운 온라인 회귀 모델 생성기(RMG)를 통해 실현된다. 타겟 필터 기반 아키텍처와 앵커프리 박스 회귀, 다중 스케일 특징 융합을 사용함으로써, FCOT는 7개의 벤치마크에서 최신 기술 수준의 성능을 달성하며, VOT2018에서 72.6% AUC, UAV123에서 65.6% AUC를 기록했고, 40 FPS 이상의 실시간 속도로 작동한다.

ABSTRACT

Online learning has turned out to be effective for improving tracking performance. However, it could be simply applied for classification branch, but still remains challenging to adapt to regression branch due to its complex design and intrinsic requirement for high-quality online samples. To tackle this issue, we present the fully convolutional online tracking framework, coined as FCOT, and focus on enabling online learning for both classification and regression branches by using a target filter based tracking paradigm. Our key contribution is to introduce an online regression model generator (RMG) for initializing weights of the target filter with online samples and then optimizing this target filter weights based on the groundtruth samples at the first frame. Based on the online RGM, we devise a simple anchor-free tracker (FCOT), composed of a feature backbone, an up-sampling decoder, a multi-scale classification branch, and a multi-scale regression branch. Thanks to the unique design of RMG, our FCOT can not only be more effective in handling target variation along temporal dimension thus generating more precise results, but also overcome the issue of error accumulation during the tracking procedure. In addition, due to its simplicity in design, our FCOT could be trained and deployed in a fully convolutional manner with a real-time running speed. The proposed FCOT achieves the state-of-the-art performance on seven benchmarks, including VOT2018, LaSOT, TrackingNet, GOT-10k, OTB100, UAV123, and NFS. Code and models of our FCOT have been released at: \url{https://github.com/MCG-NJU/FCOT}.

연구 동기 및 목표

• 비디오 추적에서 회귀 브랜치에 온라인 학습을 적용하는 데 도전하는 것. 이는 복잡한 아키텍처와 저품질 샘플에 민감한 특성 때문에 어렵다.
• 분류기와 회귀기를 완전 컨볼루션형, 엔드 투 엔드 학습 가능한 프레임워크로 통합하여 효율성과 정확도를 향상시키는 것.
• 온라인 회귀에서의 오차 누적 문제를 해결하기 위해 동적 모델 가중치 생성 및 참조값 보정 메커니즘을 도입하는 것.
• 다중 스케일 분류 브랜치를 통해 유사한 물체 간 혼동에 대한 강건성을 향상시키는 것.
• 차폐, 변형, 스케일 변화와 같은 도전적인 상황에서도 고정밀 추적을 달성하는 것.

제안 방법

• 온라인 샘플을 사용해 동적으로 모델 가중치를 생성하고, 첫 번째 프레임의 참조값을 이용해 이를 보정하는 온라인 회귀 모델 생성기(RMG)를 도입한다.
• 고해상도 특징 예측을 위한 학습 가능한 업샘플링 디코더를 갖춘 완전 컨볼루션 인코더-디코더 아키텍처를 사용한다.
• 박스의 네 면 오프셋을 직접 예측하는 앵커프리 회귀 헤드를 설계하여 앵커 박스에 대한 의존성을 제거한다.
• 다양한 특징 레이어에서의 스코어 맵을 활용해 유사한 물체에 대한 구분 능력을 향상시키기 위해 다중 스케일 분류 브랜치를 설계한다.
• 메타학습 기반 최적화 전략을 적용하여 온라인 추적 중에 회귀 헤드 가중치의 절반만 업데이트함으로써 정적 및 적응형 구성 요소의 균형을 맞춘다.
• 분류기 및 회귀기 헤드를 위한 공동 온라인 최적화 메커니즘을 통합하여 타겟 고유의 외관 변화에 대해 엔드 투 엔드로 적응할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 복잡한 설계와 노이즈 샘플에 민감한 특성로 인해, 온라인 학습을 비디오 추적의 회귀 브랜치에 효과적으로 확장할 수 있는가?
• RQ2 실시간 추론 속도를 유지하면서도 온라인 회귀에서의 오차 누적 문제를 어떻게 완화할 수 있는가?
• RQ3 타겟 필터 기반 설계를 갖춘 완전 컨볼루션 아키텍처가 기존의 앵커프리 추적기보다 뛰어난 정확도와 강건성을 달성할 수 있는가?
• RQ4 다중 스케일 분류가 비슷한 간섭물체가 존재할 경우 추적 강건성에 얼마나 기여하는가?
• RQ5 제안된 온라인 회귀 모델 생성기가 다양한 도전 과제를 가진 다양한 벤치마크에서 일관된 성능 향상을 이끌 수 있는가?

주요 결과

• VOT2018 벤치마크에서 FCOT는 성공 점수 72.6%와 정밀도 점수 82.9%를 기록했으며, DiMP와 SiamFC++를 각각 2% 이상 초월한다.
• UAV123 데이터셋에서 FCOT는 65.6% AUC와 87.3% 정밀도를 기록했고, 이는 이전 최신 기술 수준의 방법들을 능가한다.
• OTB100에서 FCOT는 69.9% 성공 점수와 92.2% 정밀도를 확보했으며, DiMP 대비 각각 0.9%와 1.9%의 상대적 향상이 있었다.
• NFS 데이터셋에서 FCOT는 62.7% AUC와 75.4% 정밀도를 기록했고, 이는 앵커프리 추적기 중에서 최고 수준이었다.
• 시각화 결과는 FCOT가 DiMP에 비해 더 정밀한 바운딩 박스를 생성하고, 비슷한 물체와의 구분 능력이 뛰어나다는 것을 확인한다.
• 절단 실험 결과 다중 스케일 분류 전략이 깊은 레이어를 통해 강건성을 향상시키고 얕은 레이어를 통해 정확도를 향상시키며, 두 요소를 융합했을 때 최적의 성능을 내는 것으로 확인되었다.