[논문 리뷰] Learning to Update for Object Tracking.

Li Bi, Wenxuan Xie외 2명|arXiv (Cornell University)|2018. 06. 19.

Video Surveillance and Tracking Methods참고 문헌 26인용 수 3

한 줄 요약

이 논문은 대규모 오프라인 영상 데이터에서 온라인 학습 알고리즘 자체를 학습하는 데 목적이 있는 '업데이트 학습'을 제안한다. 이는 객체 추적기에서 적응형 모델 업데이트를 가능하게 하며, 템플릿 기반 및 상관 필터 기반 추적기 모두를 향상시켜 실시간 GPU 추적기 중 최고 성능을 달성한다. 또한 낮은 메모리 사용량으로 실시간을 초월하는 속도로 작동한다.

ABSTRACT

Model update lies at the heart of object tracking.Generally, model update is formulated as an online learning problem where a target model is learned over the online training dataset. Our key innovation is to \emph{learn the online learning algorithm itself using large number of offline videos}, i.e., \emph{learning to update}. The learned updater takes as input the online training dataset and outputs an updated target model. As a first attempt, we design the learned updater based on recurrent neural networks (RNNs) and demonstrate its application in a template-based tracker and a correlation filter-based tracker. Our learned updater consistently improves the base trackers and runs faster than realtime on GPU while requiring small memory footprint during testing. Experiments on standard benchmarks demonstrate that our learned updater outperforms commonly used update baselines including the efficient exponential moving average (EMA)-based update and the well-designed stochastic gradient descent (SGD)-based update. Equipped with our learned updater, the template-based tracker achieves state-of-the-art performance among realtime trackers on GPU.

연구 동기 및 목표

• 객체 추적에서 수작업으로 설계된 온라인 업데이트 규칙의 한계를 해결하기 위해 업데이트 과정 자체를 학습하는 것.
• 고정된 업데이트 히وري스틱에 의존하는 대신 다양한 오프라인 영상 시퀀스에서 학습함으로써 추적기의 강인성과 정확도를 향상시키는 것.
• 실시간 GPU 추론에 적합한 경량이며 빠르고 메모리 효율적인 업데이트 메커니즘을 개발하는 것.
• 템플릿 기반 및 상관 필터 기반 추적기와 같은 다양한 추적기 아키텍처에 걸쳐 학습된 업데이터어의 일반화 능력을 입증하는 것.

제안 방법

• 대규모 오프라인 영상 데이터셋에 기반해 온라인 학습 알고리즘을 학습할 수 있도록 RNN을 훈련한다.
• RNN 기반 업데이터어를 사용해 온라인 학습 시퀀스를 처리하고 기존의 전통적 업데이트 규칙을 대체할 수 있는 업데이트된 타겟 모델을 생성한다.
• 학습된 업데이터어를 템플릿 기반 및 상관 필터 기반 추적기에 플러그인 모듈로 통합한다.
• 추적 정확도와 업데이트 안정성 최적화를 위해 수많은 영상 시퀀스를 사용해 엔드 투 엔드로 업데이터어를 훈련한다.
• 온라인 샘플의 특징 표현을 입력으로 받아 정교화된 모델 업데이트 벡터를 출력하도록 RNN을 설계한다.
• 파라미터 수와 계산 복잡도를 최소화해 추론 시 효율성을 확보함으로써 GPU에서 실시간 성능을 달성한다.

실험 결과

연구 질문

• RQ1 수작업으로 설계된 규칙보다 신경망이 객체 추적에서 온라인 업데이트 과정을 더 효과적으로 학습할 수 있는가?
• RQ2 학습된 업데이터어는 템플릿 기반 및 상관 필터 기반 추적기와 같은 다양한 추적기 아키텍처에 일반화되는가?
• RQ3 학습된 업데이터어는 추적 정확도 향상과 함께 낮은 메모리 사용량으로 실시간 성능를 달성할 수 있는가?
• RQ4 추적 성능와 강인성 측면에서 EMA 및 SGD와 같은 표준 기반 베이스라인과 비교해 학습된 업데이터어는 어떻게 성과를 내는가?

주요 결과

• 학습된 업데이터어는 표준 벤치마크에서 템플릿 기반 및 상관 필터 기반 추적기 모두의 성능을 일관되게 향상시킨다.
• 템플릿 기반 추적기에 통합했을 때 실시간 GPU 추적기 중 최고 수준의 정확도를 달성한다.
• 학습된 업데이터어는 GPU에서 실시간을 초월하는 속도로 작동하며, 추론 시 소규모 메모리 프로필을 유지한다.
• RNN 기반 업데이터어는 지수 이동 평균(EMA) 기반 및 확률적 경사 하강법(SGD) 기반 업데이트 베이스라인 모두를 추적 정확도에서 능가한다.
• 학습된 업데이터어는 다양한 추적 아키텍처 간에 잘 일반화되어 있으며, 이식 가능성과 강인성을 입증한다.