[논문 리뷰] ECO: Efficient Convolution Operators for Tracking

Martin Danelljan, Goutam Bhat외 2명|arXiv (Cornell University)|2016. 11. 28.

Video Surveillance and Tracking Methods참고 문헌 4인용 수 23

한 줄 요약

이 논문은 인과적 컨볼루션 연산자, 압축형 생성 학습 샘플 모델, 그리고 효율적인 보수적 업데이트 전략를 통해 모델 복잡도와 과적합을 줄이는 DCF 기반 추적 프레임워크인 ECO를 제안한다. 이 방법은 C-COT 대비 20배 빠른 속도 향상을 이룩했으며, VOT2016에서 기대 평균 오버랩을 13.0% 향상시켰고, 수작업 특징을 사용하여 실시간 성능(60 FPS)을 유지하면서 OTB-2015에서 65.0% AUC를 달성했다.

ABSTRACT

In recent years, Discriminative Correlation Filter (DCF) based methods have significantly advanced the state-of-the-art in tracking. However, in the pursuit of ever increasing tracking performance, their characteristic speed and real-time capability have gradually faded. Further, the increasingly complex models, with massive number of trainable parameters, have introduced the risk of severe over-fitting. In this work, we tackle the key causes behind the problems of computational complexity and over-fitting, with the aim of simultaneously improving both speed and performance. We revisit the core DCF formulation and introduce: (i) a factorized convolution operator, which drastically reduces the number of parameters in the model; (ii) a compact generative model of the training sample distribution, that significantly reduces memory and time complexity, while providing better diversity of samples; (iii) a conservative model update strategy with improved robustness and reduced complexity. We perform comprehensive experiments on four benchmarks: VOT2016, UAV123, OTB-2015, and TempleColor. When using expensive deep features, our tracker provides a 20-fold speedup and achieves a 13.0% relative gain in Expected Average Overlap compared to the top ranked method in the VOT2016 challenge. Moreover, our fast variant, using hand-crafted features, operates at 60 Hz on a single CPU, while obtaining 65.0% AUC on OTB-2015.

연구 동기 및 목표

• 최신 기술의 분류적 상관 필터(DCF) 추적기에서 증가하는 계산 복잡도와 과적합 문제를 해결한다.
• 성능을 훼손하지 않고 모델 파라미터 수, 학습 샘플 크기, 최적화 반복 수를 줄인다.
• 제한된 학습 데이터 하에서 복원력과 일반화 능력을 향상시키면서 실시간 추적 능력을 복원한다.
• 수작업 특징 또는 딥 레이어 특징을 사용할 수 있는 가벼우면서도 강력한 DCF 추적기를 개발한다.

제안 방법

• 기본 C-COT 대비 모델 파라미터 수를 80% 줄이는 인과적 컨볼루션 연산자를 도입한다.
• 메모리 및 시간 복잡도를 90% 감소시키면서도 샘플 다양성을 유지하는 학습 샘플 분포의 압축형 생성 모델을 제안한다.
• 최근 프레임에 대한 과적합을 줄이고 최적화 반복 수를 80% 감소시키는 보수적 모델 업데이트 전략을 구현한다.
• 두 단계 학습 과정을 적용한다: 첫 번째로 인과적 컨볼루션을 통해 압축된 표현을 학습하고, 두 번째로 생성적 샘플링을 통해 다양한 학습 데이터를 시뮬레이션한다.
• 모델 업데이트 전략을 통합하여 과도한 업데이트를 제한함으로써 체적 변화, 변형, 평면 외 회전에 대한 복원력을 향상시킨다.
• 수작업 특징(HOG, Color Names)과 딥 레이어 특징을 모두 적용하여 CPU에서 실시간 동작을 가능하게 한다.

실험 결과

연구 질문

• RQ1 인과적 컨볼루션 연산자가 DCF 기반 추적기의 파라미터 수를 크게 줄일 수 있을까, 성능을 유지할 수 있을까?
• RQ2 학습 샘플의 압축형 생성 모델이 다양성이나 정확도를 떨어뜨리지 않고 메모리 및 시간 복잡도를 줄일 수 있을까?
• RQ3 보수적 모델 업데이트 전략이 온라인 DCF 추적에서 복원력과 과적합을 향상시킬 수 있을까?
• RQ4 제안된 방법이 VOT2016에서 상위 랭크 C-COT 추적기 대비 20배 빠른 성능 향상을 이룰 수 있을까?
• RQ5 OTB-2015와 UAV123에서 기존 방법을 능가하면서도 CPU에서 실시간 성능(60 FPS)을 유지할 수 있을까?

주요 결과

• VOT2016에서 ECO는 상위 랭크 C-COT 추적기 대비 기대 평균 오버랩(EAO)에서 13.0% 상승을 기록했으며, EAO 0.374를 달성했고 C-COT의 0.331보다 높았다.
• 딥 레이어 특징 버전의 ECO는 TCNN 대비 EFO(정규화된 속도)에서 5배 빠른 성능 향상을 보였으며, EAO는 15.1% 향상시켰다.
• UAV123에서 ECO-HC(수작업 특징)는 60 FPS에서 51.7% AUC를 기록했고, Staple(45.3% AUC)를 능가하고 C-COT과 동률을 이뤘으며 실시간으로 작동했다.
• OTB-2015에서 ECO-HC는 수작업 특징을 사용해 65.0% AUC를 달성했고, SRDCFad(63.4%)를 능가했으며 단일 CPU에서 60 FPS로 작동했다.
• OTB-2015에서 딥 레이어 특징을 사용한 ECO는 70.0% AUC를 기록했고, C-COT(69.0%), MDNet(68.5%), TCNN(66.1%)를 모두 능가했다.
• TempleColor에서 ECO는 C-COT 대비 AUC를 0.8% 향상시켜 다양한 벤치마크에서 일관된 성능 향상을 보였다.